{"id":492862,"date":"2026-08-30T22:57:05","date_gmt":"2026-08-30T22:57:05","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=492862"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=492862","title":{"rendered":"IMLE: \u043d\u0435\u044f\u0432\u043d\u043e\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e <a href=\"https:\/\/arxiv.org\/abs\/1809.09087\" rel=\"noopener nofollow\">Implicit Maximum Likelihood Estimation<\/a>: \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0438\u0434\u0435\u044e, \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<h3>\u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/h3>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u0438 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c. \u041d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c <a href=\"https:\/\/mmkuznecov.github.io\/posts\/mle-and-map\/\" rel=\"noopener nofollow\">\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f, \u0433\u0434\u0435 \u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e MLE \u0438 MAP<\/a>, \u0437\u0434\u0435\u0441\u044c \u0436\u0435 &#8212; \u0431\u044b\u0441\u0442\u0440\u043e\u0435 \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x)\" alt=\"p_\\theta(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg\" width=\"41\" height=\"18\" data-width=\"5.13\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.13ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_1, \\dots, x_n\" alt=\"x_1, \\dots, x_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/48\/481\/4813c1f624323ef71bec1886e76b6b1e.svg\" width=\"78\" height=\"18\" data-width=\"9.764\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.764ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/48\/481\/4813c1f624323ef71bec1886e76b6b1e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/48\/481\/4813c1f624323ef71bec1886e76b6b1e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0438\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"p_{\\theta^*}\" alt=\"p_{\\theta^*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7ff\/7ffa00303892ecaf93c7b89452ebeb89.svg\" width=\"22\" height=\"18\" data-width=\"2.774\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.774ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7ff\/7ffa00303892ecaf93c7b89452ebeb89.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7ff\/7ffa00303892ecaf93c7b89452ebeb89.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg\" width=\"12\" height=\"18\" data-width=\"1.061\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.061ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\hat\\theta_{MLE} = \\arg\\max_\\theta \\sum_{i=1}^n \\log p_\\theta(x_i).\" alt=\"\\hat\\theta_{MLE} = \\arg\\max_\\theta \\sum_{i=1}^n \\log p_\\theta(x_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/036\/036a8e4d755a84ea9fd336e230efaa61.svg\" width=\"238\" height=\"51\" data-width=\"29.784\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 29.784ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/036\/036a8e4d755a84ea9fd336e230efaa61.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/036\/036a8e4d755a84ea9fd336e230efaa61.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041d\u0438\u0436\u0435 &#8212; \u0442\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u043f\u043e\u043b\u043d\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c.<\/p>\n<p><strong>\u0413\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u0430 \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439.<\/strong> \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x) = \\mathcal N(x \\mid \\mu, \\sigma^2)\" alt=\"p_\\theta(x) = \\mathcal N(x \\mid \\mu, \\sigma^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/68\/687\/687351ee4088164bdec57e382c809f94.svg\" width=\"160\" height=\"21\" data-width=\"19.952\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 19.952ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/68\/687\/687351ee4088164bdec57e382c809f94.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/68\/687\/687351ee4088164bdec57e382c809f94.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg\" width=\"12\" height=\"18\" data-width=\"1.364\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.364ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0441\u0447\u0438\u0442\u0430\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/10e\/10e16c6a764d367ca5077a54bf156f7e.svg\" width=\"18\" height=\"21\" data-width=\"2.28\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 2.28ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/10e\/10e16c6a764d367ca5077a54bf156f7e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/10e\/10e16c6a764d367ca5077a54bf156f7e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439). \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\ell(\\mu) = \\sum_{i=1}^n \\log p_\\theta(x_i) = \\sum_{i=1}^n \\left[-\\frac12\\log(2\\pi\\sigma^2) - \\frac{(x_i-\\mu)^2}{2\\sigma^2}\\right].\" alt=\"\\ell(\\mu) = \\sum_{i=1}^n \\log p_\\theta(x_i) = \\sum_{i=1}^n \\left[-\\frac12\\log(2\\pi\\sigma^2) - \\frac{(x_i-\\mu)^2}{2\\sigma^2}\\right].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d2f\/d2f21b6b01b25d44ed8107e2ef8f875f.svg\" width=\"444\" height=\"51\" data-width=\"55.458\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 55.458ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d2f\/d2f21b6b01b25d44ed8107e2ef8f875f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d2f\/d2f21b6b01b25d44ed8107e2ef8f875f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg\" width=\"12\" height=\"18\" data-width=\"1.364\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.364ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0442\u043e\u0440\u043e\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{d\\ell}{d\\mu} = \\sum_{i=1}^n \\frac{x_i - \\mu}{\\sigma^2} = \\frac{1}{\\sigma^2}\\left(\\sum_{i=1}^n x_i - n\\mu\\right).\" alt=\"\\frac{d\\ell}{d\\mu} = \\sum_{i=1}^n \\frac{x_i - \\mu}{\\sigma^2} = \\frac{1}{\\sigma^2}\\left(\\sum_{i=1}^n x_i - n\\mu\\right).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f5\/6f5a4a97581dd9e62ae8a5dc39e2dd79.svg\" width=\"312\" height=\"54\" data-width=\"39.027\" data-height=\"6.785\" data-vertical-align=\"-2.827\" style=\"width: 39.027ex; height: 6.785ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f5\/6f5a4a97581dd9e62ae8a5dc39e2dd79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f5\/6f5a4a97581dd9e62ae8a5dc39e2dd79.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\sum_{i=1}^n x_i - n\\mu = 0 \\;\\;\\Longrightarrow\\;\\; \\hat\\mu_{MLE} = \\frac1n\\sum_{i=1}^n x_i.\" alt=\"\\sum_{i=1}^n x_i - n\\mu = 0 \\;\\;\\Longrightarrow\\;\\; \\hat\\mu_{MLE} = \\frac1n\\sum_{i=1}^n x_i.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d3\/3d3d967ea9e7e6c251962cd35664f9ef.svg\" width=\"323\" height=\"51\" data-width=\"40.391\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 40.391ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d3\/3d3d967ea9e7e6c251962cd35664f9ef.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d3\/3d3d967ea9e7e6c251962cd35664f9ef.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg\" width=\"12\" height=\"18\" data-width=\"1.364\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.364ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0430\u0432\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"-n\/\\sigma^2 &lt; 0\" alt=\"-n\/\\sigma^2 &lt; 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb0\/cb0fa6145a3707a3b8d8456f740e2158.svg\" width=\"85\" height=\"21\" data-width=\"10.677\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 10.677ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb0\/cb0fa6145a3707a3b8d8456f740e2158.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb0\/cb0fa6145a3707a3b8d8456f740e2158.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430 &#8212; \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c, \u0430 \u043d\u0435 \u0441\u0435\u0434\u043b\u043e\u0432\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u0438\u043b\u0438 \u043c\u0438\u043d\u0438\u043c\u0443\u043c. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435.<\/p>\n<p><strong>\u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438.<\/strong> \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"x_i \\in \\{0, 1\\}\" alt=\"x_i \\in \\{0, 1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/867\/86770e4be73ab9a9d8c60e55f65ee070.svg\" width=\"83\" height=\"18\" data-width=\"10.331\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 10.331ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/867\/86770e4be73ab9a9d8c60e55f65ee070.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/867\/86770e4be73ab9a9d8c60e55f65ee070.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x_i) = p^{x_i}(1-p)^{1-x_i}\" alt=\"p_\\theta(x_i) = p^{x_i}(1-p)^{1-x_i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72c\/72cc54020931ea7255831245b1c91e52.svg\" width=\"177\" height=\"21\" data-width=\"22.117\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 22.117ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72c\/72cc54020931ea7255831245b1c91e52.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72c\/72cc54020931ea7255831245b1c91e52.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u043e \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\ell(p) = \\sum_{i=1}^n \\left[x_i \\log p + (1-x_i)\\log(1-p)\\right].\" alt=\"\\ell(p) = \\sum_{i=1}^n \\left[x_i \\log p + (1-x_i)\\log(1-p)\\right].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8f4\/8f466d69ba1bae719e7dfd1b0190bb01.svg\" width=\"318\" height=\"51\" data-width=\"39.727\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 39.727ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8f4\/8f466d69ba1bae719e7dfd1b0190bb01.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8f4\/8f466d69ba1bae719e7dfd1b0190bb01.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"k = \\sum_i x_i\" alt=\"k = \\sum_i x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d91\/d91ab7663f4c4a2138a906ff29002387.svg\" width=\"79\" height=\"39\" data-width=\"9.874\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 9.874ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d91\/d91ab7663f4c4a2138a906ff29002387.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d91\/d91ab7663f4c4a2138a906ff29002387.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0447\u0438\u0441\u043b\u043e \u201c\u0443\u0441\u043f\u0435\u0445\u043e\u0432\u201d \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u0422\u043e\u0433\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\ell(p) = k\\log p + (n-k)\\log(1-p)\" alt=\"\\ell(p) = k\\log p + (n-k)\\log(1-p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63e\/63e11b8916ae64355ba6ff287656cb5a.svg\" width=\"262\" height=\"18\" data-width=\"32.712\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 32.712ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63e\/63e11b8916ae64355ba6ff287656cb5a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63e\/63e11b8916ae64355ba6ff287656cb5a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.138ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{d\\ell}{dp} = \\frac{k}{p} - \\frac{n-k}{1-p}.\" alt=\"\\frac{d\\ell}{dp} = \\frac{k}{p} - \\frac{n-k}{1-p}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/80a\/80afe0f0f1300c144bac735dd16bd7c1.svg\" width=\"146\" height=\"41\" data-width=\"18.193\" data-height=\"5.115\" data-vertical-align=\"-1.992\" style=\"width: 18.193ex; height: 5.115ex; vertical-align: -1.992ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/80a\/80afe0f0f1300c144bac735dd16bd7c1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/80a\/80afe0f0f1300c144bac735dd16bd7c1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e \u0438 \u0440\u0435\u0448\u0430\u0435\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{k}{p} = \\frac{n-k}{1-p} \\;\\;\\Longrightarrow\\;\\; k(1-p) = (n-k)p \\;\\;\\Longrightarrow\\;\\; k - kp = np - kp \\;\\;\\Longrightarrow\\;\\; k = np,\" alt=\"\\frac{k}{p} = \\frac{n-k}{1-p} \\;\\;\\Longrightarrow\\;\\; k(1-p) = (n-k)p \\;\\;\\Longrightarrow\\;\\; k - kp = np - kp \\;\\;\\Longrightarrow\\;\\; k = np,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6d\/e6df98b1db483bfad9652656154b3f3b.svg\" width=\"618\" height=\"41\" data-width=\"77.292\" data-height=\"5.09\" data-vertical-align=\"-1.98\" style=\"width: 77.292ex; height: 5.09ex; vertical-align: -1.98ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6d\/e6df98b1db483bfad9652656154b3f3b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6d\/e6df98b1db483bfad9652656154b3f3b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u043e\u0442\u043a\u0443\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat p_{MLE} = k\/n = \\frac1n\\sum_i x_i\" alt=\"\\hat p_{MLE} = k\/n = \\frac1n\\sum_i x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9c\/9cd\/9cd054e9218d6e260d16d39107c7c83c.svg\" width=\"187\" height=\"46\" data-width=\"23.428\" data-height=\"5.733\" data-vertical-align=\"-2.301\" style=\"width: 23.428ex; height: 5.733ex; vertical-align: -2.301ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9c\/9cd\/9cd054e9218d6e260d16d39107c7c83c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9c\/9cd\/9cd054e9218d6e260d16d39107c7c83c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0434\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u043a\u0430\u043a \u0438 \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c.<\/p>\n<p><strong>\u042d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435.<\/strong> \u041f\u0443\u0441\u0442\u044c <\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"x_i &gt; 0\" alt=\"x_i &gt; 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c24\/c24f86747fab719c5b0d7db0bd5704cb.svg\" width=\"49\" height=\"15\" data-width=\"6.182\" data-height=\"1.864\" data-vertical-align=\"-0.357\" style=\"width: 6.182ex; height: 1.864ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c24\/c24f86747fab719c5b0d7db0bd5704cb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c24\/c24f86747fab719c5b0d7db0bd5704cb.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x) = \\lambda e^{-\\lambda x}\" alt=\"p_\\theta(x) = \\lambda e^{-\\lambda x}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/dba\/dbadc62f235478afc9a053dd064e26f1.svg\" width=\"110\" height=\"21\" data-width=\"13.801\" data-height=\"2.61\" data-vertical-align=\"-0.74\" style=\"width: 13.801ex; height: 2.61ex; vertical-align: -0.74ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/dba\/dbadc62f235478afc9a053dd064e26f1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/dba\/dbadc62f235478afc9a053dd064e26f1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f: <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\ell(\\lambda) = \\sum_{i=1}^n \\left[\\log\\lambda - \\lambda x_i\\right] = n\\log\\lambda - \\lambda\\sum_{i=1}^n x_i.\" alt=\"\\ell(\\lambda) = \\sum_{i=1}^n \\left[\\log\\lambda - \\lambda x_i\\right] = n\\log\\lambda - \\lambda\\sum_{i=1}^n x_i.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec0\/ec00418ec966a5832cacc270684c374e.svg\" width=\"342\" height=\"51\" data-width=\"42.755\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 42.755ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec0\/ec00418ec966a5832cacc270684c374e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec0\/ec00418ec966a5832cacc270684c374e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg\" width=\"12\" height=\"18\" data-width=\"1.319\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.319ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{d\\ell}{d\\lambda} = \\frac{n}{\\lambda} - \\sum_{i=1}^n x_i.\" alt=\"\\frac{d\\ell}{d\\lambda} = \\frac{n}{\\lambda} - \\sum_{i=1}^n x_i.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1dd\/1dd235ab45a63ae58763e6842f06b8cc.svg\" width=\"143\" height=\"51\" data-width=\"17.934\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 17.934ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1dd\/1dd235ab45a63ae58763e6842f06b8cc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1dd\/1dd235ab45a63ae58763e6842f06b8cc.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{n}{\\lambda} = \\sum_{i=1}^n x_i \\;\\;\\Longrightarrow\\;\\; \\hat\\lambda_{MLE} = \\frac{n}{\\sum_i x_i} = \\frac{1}{\\bar x}.\" alt=\"\\frac{n}{\\lambda} = \\sum_{i=1}^n x_i \\;\\;\\Longrightarrow\\;\\; \\hat\\lambda_{MLE} = \\frac{n}{\\sum_i x_i} = \\frac{1}{\\bar x}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dc6\/dc609ab60ff5451ecc6ef0dd8252717a.svg\" width=\"316\" height=\"51\" data-width=\"39.514\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 39.514ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dc6\/dc609ab60ff5451ecc6ef0dd8252717a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dc6\/dc609ab60ff5451ecc6ef0dd8252717a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f <img decoding=\"async\" class=\"formula inline\" source=\"-n\/\\lambda^2 &lt; 0\" alt=\"-n\/\\lambda^2 &lt; 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f5\/9f5b7b6f412f68eb84914b4256a38f20.svg\" width=\"86\" height=\"21\" data-width=\"10.704\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 10.704ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f5\/9f5b7b6f412f68eb84914b4256a38f20.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f5\/9f5b7b6f412f68eb84914b4256a38f20.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c.<\/p>\n<p>\u0412\u043e \u0432\u0441\u0435\u0445 \u0442\u0440\u0451\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u044b \u044f\u0432\u043d\u043e \u0437\u043d\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0443 \u0438 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0442\u044c \u0435\u0451 \u043a \u043d\u0443\u043b\u044e &#8212; \u0440\u0443\u0442\u0438\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0440\u0435\u0448\u0430\u0435\u043c\u0430\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438.<\/p>\n<h3>\u041c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u044f<\/h3>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043c, \u0433\u0434\u0435 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u044f\u0432\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x)\" alt=\"p_\\theta(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg\" width=\"41\" height=\"18\" data-width=\"5.13\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.13ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e \u0434\u043b\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u0440\u043e\u0434\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 &#8212; \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0438 \u0441 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0435 \u043e \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Manifold_hypothesis\" rel=\"noopener nofollow\">manifold hypothesis<\/a>), \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0447\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0447\u0435\u0440\u0435\u0437 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u0430 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u0432\u0437\u044f\u0442\u044c \u0448\u0443\u043c <img decoding=\"async\" class=\"formula inline\" source=\"z \\sim \\mathcal N(0, I)\" alt=\"z \\sim \\mathcal N(0, I)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fe\/fe1\/fe11089bd857690b4f04f9a65f9445e6.svg\" width=\"91\" height=\"19\" data-width=\"11.322\" data-height=\"2.351\" data-vertical-align=\"-0.61\" style=\"width: 11.322ex; height: 2.351ex; vertical-align: -0.61ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fe\/fe1\/fe11089bd857690b4f04f9a65f9445e6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fe\/fe1\/fe11089bd857690b4f04f9a65f9445e6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x = T_\\theta(z)\" alt=\"x = T_\\theta(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a1\/a1c\/a1cb1352d752f4ea44236f4493014414.svg\" width=\"75\" height=\"18\" data-width=\"9.383\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.383ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a1\/a1c\/a1cb1352d752f4ea44236f4493014414.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a1\/a1c\/a1cb1352d752f4ea44236f4493014414.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u043e\u0431\u044b\u0447\u043d\u043e &#8212; \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c).<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <em>implicit<\/em> (\u043d\u0435\u044f\u0432\u043d\u044b\u043c\u0438) &#8212; \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 <em>prescribed<\/em> (\u044f\u0432\u043d\u044b\u0445) \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0440\u043e\u0434\u0435 \u0441\u043c\u0435\u0441\u0438 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d \u0438\u043b\u0438 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0433\u0434\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u0423 \u043d\u0435\u044f\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u043d\u043e \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u0430 \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c\u0430 \u043d\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043d\u0438 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435\u043b\u044c\u0437\u044f &#8212; \u043d\u0443\u0436\u0435\u043d \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u0435\u0437 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0438 GAN \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0430 \u043d\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u0423 IMLE \u0434\u0440\u0443\u0433\u0430\u044f \u0438\u0434\u0435\u044f: \u043e\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e, \u043d\u0438 \u0440\u0430\u0437\u0443 \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f \u0441\u0430\u043c\u0443 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u044f\u0432\u043d\u043e.<\/p>\n<h3>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f<\/h3>\n<p>\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0442\u0430\u043a\u0430\u044f. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u0442\u043e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta\" alt=\"p_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg\" width=\"17\" height=\"18\" data-width=\"2.076\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.076ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430. \u0410 \u0440\u0430\u0437 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043c \u0432\u044b\u0441\u043e\u043a\u0430\u044f, \u0442\u043e \u0435\u0441\u043b\u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u044d\u043c\u043f\u043b\u044b \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c \u0441 \u044d\u0442\u0438\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438. \u0417\u043d\u0430\u0447\u0438\u0442, \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u044f\u0432\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u043a \u043d\u0435\u043c\u0443 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u044d\u043c\u043f\u043b\u0430 &#8212; \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\tilde x_1^\\theta, \\dots, \\tilde x_m^\\theta\" alt=\"\\tilde x_1^\\theta, \\dots, \\tilde x_m^\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/351\/351616249cb2a3eec7f1408000eb9565.svg\" width=\"82\" height=\"21\" data-width=\"10.209\" data-height=\"2.639\" data-vertical-align=\"-0.754\" style=\"width: 10.209ex; height: 2.639ex; vertical-align: -0.754ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/351\/351616249cb2a3eec7f1408000eb9565.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/351\/351616249cb2a3eec7f1408000eb9565.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0441\u044d\u043c\u043f\u043b\u044b \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg\" width=\"16\" height=\"12\" data-width=\"2.034\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 2.034ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"R_i^\\theta := \\min_{j \\in [m]} \\left\\| \\tilde x_j^\\theta - x_i \\right\\|_2^2,\" alt=\"R_i^\\theta := \\min_{j \\in [m]} \\left\\| \\tilde x_j^\\theta - x_i \\right\\|_2^2,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1f7\/1f7a4d2aaf414fba6349e7f5e27032ca.svg\" width=\"175\" height=\"38\" data-width=\"21.863\" data-height=\"4.714\" data-vertical-align=\"-1.791\" style=\"width: 21.863ex; height: 4.714ex; vertical-align: -1.791ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1f7\/1f7a4d2aaf414fba6349e7f5e27032ca.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1f7\/1f7a4d2aaf414fba6349e7f5e27032ca.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438 \u043e\u0446\u0435\u043d\u043a\u0430 IMLE &#8212; \u044d\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\hat\\theta_{IMLE} = \\arg\\min_\\theta \\; \\mathbb E\\left[\\sum_{i=1}^n R_i^\\theta\\right] = \\arg\\min_\\theta \\; \\mathbb E\\left[\\sum_{i=1}^n \\min_{j \\in [m]} \\left\\| \\tilde x_j^\\theta - x_i \\right\\|_2^2\\right].\" alt=\"\\hat\\theta_{IMLE} = \\arg\\min_\\theta \\; \\mathbb E\\left[\\sum_{i=1}^n R_i^\\theta\\right] = \\arg\\min_\\theta \\; \\mathbb E\\left[\\sum_{i=1}^n \\min_{j \\in [m]} \\left\\| \\tilde x_j^\\theta - x_i \\right\\|_2^2\\right].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e91\/e913d529a8d655dee0453cc6501c8c5c.svg\" width=\"506\" height=\"54\" data-width=\"63.243\" data-height=\"6.785\" data-vertical-align=\"-2.827\" style=\"width: 63.243ex; height: 6.785ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e91\/e913d529a8d655dee0453cc6501c8c5c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e91\/e913d529a8d655dee0453cc6501c8c5c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u0430 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 GAN. \u0412 \u0441\u0432\u044f\u0437\u043a\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440-\u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440, \u0433\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0443 \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b <em>\u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u044d\u043c\u043f\u043b<\/em> \u0431\u044b\u043b \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 &#8212; \u043e\u0442\u0441\u044e\u0434\u0430 \u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u043e\u0441\u0442\u044c GAN \u043a \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u043d\u0438\u044e \u043c\u043e\u0434 (mode collapse). \u0412 IMLE \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443: \u043d\u0435 \u0441\u044d\u043c\u043f\u043b \u0438\u0449\u0435\u0442 \u0441\u0435\u0431\u0435 \u043f\u0430\u0440\u0443 \u0441\u0440\u0435\u0434\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 <em>\u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0445<\/em> \u0438\u0449\u0435\u0442 \u0441\u0435\u0431\u0435 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u0441\u044d\u043c\u043f\u043b. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439, \u0430 \u043f\u0440\u044f\u043c\u043e\u0439 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 &#8212; <img decoding=\"async\" class=\"formula inline\" source=\"D_{KL}(p_{data} \\,\\|\\, p_\\theta)\" alt=\"D_{KL}(p_{data} \\,\\|\\, p_\\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0b\/a0b4324f4ec19c26ad531adf4bfeb303.svg\" width=\"118\" height=\"18\" data-width=\"14.724\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 14.724ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0b\/a0b4324f4ec19c26ad531adf4bfeb303.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0b\/a0b4324f4ec19c26ad531adf4bfeb303.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e\u0439 \u0441\u0430\u043c\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 MLE. \u0415\u0441\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u00ab\u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u044b\u043c\u00bb \u0441\u044d\u043c\u043f\u043b\u0430\u043c\u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0432 \u0441\u0443\u043c\u043c\u0435 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043c, \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u0434\u0442\u044f\u043d\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u044d\u0442\u0443 \u043e\u0431\u043b\u0430\u0441\u0442\u044c. \u042d\u0442\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u043d\u0435 \u0434\u0430\u0451\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043e\u043b\u0436\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0442\u044c \u0440\u0438\u0441\u043a \u043f\u043e\u0442\u0435\u0440\u0438 \u043c\u043e\u0434.<\/p>\n<h3>\u0427\u0435\u043c IMLE \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432<\/h3>\n<p>\u041a\u043e\u0440\u043e\u0442\u043a\u043e \u043e \u0442\u043e\u043c, \u0433\u0434\u0435 IMLE \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0440\u0451\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435\u044f\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p><strong>GAN<\/strong> \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0447\u0435\u0440\u0435\u0437 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u0433\u0440\u0443: \u0432 \u0438\u0434\u0435\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u0435\u043d \u0438 \u0438\u043c\u0435\u0435\u0442 \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u0439 GAN \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 \u0419\u0435\u043d\u0441\u0435\u043d\u0430-\u0428\u0435\u043d\u043d\u043e\u043d\u0430 (<a href=\"https:\/\/proceedings.neurips.cc\/paper\/2014\/hash\/f033ed80deb0234979a61f95710dbe25-Abstract.html\" rel=\"noopener nofollow\">Goodfellow et al., 2014<\/a>), \u0430 <a href=\"https:\/\/proceedings.neurips.cc\/paper\/2016\/hash\/cedebb6e872f539bef8c3f919874e9d7-Abstract.html\" rel=\"noopener nofollow\">f-GAN<\/a> \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442 \u044d\u0442\u0443 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e \u043d\u0430 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 f-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0439. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0442\u043e\u0447\u043d\u044b\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440 &#8212; \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0451\u043c\u043a\u043e\u0441\u0442\u0438. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 GAN \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e-\u043d\u0435\u0432\u043e\u0433\u043d\u0443\u0442\u0443\u044e minimax-\u0437\u0430\u0434\u0430\u0447\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u0430\u044f \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043a \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u044e; \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 GAN-\u0438\u0433\u0440\u0430\u0445 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u0435 \u041d\u044d\u0448\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c (<a href=\"https:\/\/proceedings.mlr.press\/v119\/farnia20a.html\" rel=\"noopener nofollow\">Farnia &amp; Ozdaglar, 2020<\/a>). \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043a\u0430\u043a \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434, \u0441\u043b\u0430\u0431\u044b\u0439 \u0438\u043b\u0438 \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043f\u0440\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u0445 (<a href=\"https:\/\/arxiv.org\/abs\/1701.04862\" rel=\"noopener nofollow\">Arjovsky &amp; Bottou, 2017<\/a>) \u0438 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (<a href=\"https:\/\/proceedings.mlr.press\/v80\/mescheder18a.html\" rel=\"noopener nofollow\">Mescheder et al., 2018<\/a>); \u0432\u043f\u0440\u043e\u0447\u0435\u043c, \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/arxiv.org\/abs\/2501.05441\" rel=\"noopener nofollow\">R3GAN<\/a>, \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u043b\u0438\u0441\u044c \u0432 \u0438\u0445 \u0443\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0438.<\/p>\n<p>IMLE \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c &#8212; \u043e\u0442\u043a\u0430\u0437\u043e\u043c \u043e\u0442 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041f\u043e\u0442\u0435\u0440\u044f \u043c\u043e\u0434 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a \u0441\u044d\u043c\u043f\u043b\u0430\u043c \u0438 \u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0441\u0440\u0430\u0437\u0443 \u0434\u0430\u0451\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435. \u0417\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\|x_i - \\tilde x_{\\sigma(i)}\\|^2\" alt=\"\\|x_i - \\tilde x_{\\sigma(i)}\\|^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/462\/46242b3710333db3e12a71aa91ef154e.svg\" width=\"98\" height=\"22\" data-width=\"12.242\" data-height=\"2.8\" data-vertical-align=\"-0.834\" style=\"width: 12.242ex; height: 2.8ex; vertical-align: -0.834ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/462\/46242b3710333db3e12a71aa91ef154e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/462\/46242b3710333db3e12a71aa91ef154e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u0442\u043e\u0447\u0435\u043a, \u0442\u043e \u0435\u0441\u0442\u044c \u0447\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0435\u043c <em>\u0431\u043e\u043b\u044c\u0448\u0435<\/em> \u0441\u0438\u0433\u043d\u0430\u043b &#8212; \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430 \u043f\u0440\u0438 \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044f\u0445. \u041d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0435\u0442 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u044f &#8212; \u0435\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (\u043f\u0443\u0441\u0442\u044c \u0438 \u043d\u0435\u0433\u043b\u0430\u0434\u043a\u043e\u0439 \u0438\u0437-\u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\arg\\min\" alt=\"\\arg\\min\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b5f\/b5f6771b9577e973e0ac604e59a54472.svg\" width=\"58\" height=\"18\" data-width=\"7.298\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.298ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b5f\/b5f6771b9577e973e0ac604e59a54472.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b5f\/b5f6771b9577e973e0ac604e59a54472.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438).<\/p>\n<p><strong>GMMN<\/strong> &#8212; \u0442\u043e\u0436\u0435 \u0431\u0435\u0437\u0430\u0434\u0432\u0435\u0440\u0441\u0430\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043d\u0435 f-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e, \u0430 <a href=\"https:\/\/arxiv.org\/abs\/2503.11868\" rel=\"noopener nofollow\">maximum mean discrepancy (MMD)<\/a>: \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0441\u0440\u0435\u0434\u043d\u0438\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Reproducing_kernel_Hilbert_space\" rel=\"noopener nofollow\">RKHS<\/a>. \u041f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u0435\u043c \u0438\u0433\u0440\u044b \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442, \u043d\u043e \u0443 MMD \u043d\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435\u043c \u0438 \u043d\u0435\u0442 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u043c\u043e\u0434; \u043f\u043b\u044e\u0441 \u043e\u0446\u0435\u043d\u043a\u0430 MMD \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0431\u0430\u0442\u0447\u0435\u0439 &#8212; \u0442\u043e\u0442 \u0436\u0435 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u00ab\u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u0430\u00bb, \u0447\u0442\u043e \u0438 \u0443 IMLE \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u0441\u044d\u043c\u043f\u043b\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p><strong>VAE<\/strong> \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043d\u0435 \u0441\u0430\u043c\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u0430 \u0435\u0433\u043e \u043d\u0438\u0436\u043d\u044e\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 (<a href=\"https:\/\/mbernste.github.io\/posts\/elbo\/\" rel=\"noopener nofollow\">ELBO<\/a>), \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u0440\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0442\u0440\u044e\u043a. \u0427\u0442\u043e\u0431\u044b \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435\u0439, VAE \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0451\u0442 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0441 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 &#8212; \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0440\u044b\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u0446\u0435\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u044b\u0442\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432. \u0423 IMLE \u043f\u0443\u0442\u044c \u043f\u0440\u044f\u043c\u0435\u0435: \u043d\u0438 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430, \u043d\u0438 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u0437\u043e\u0440\u0430, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043a \u0434\u0430\u043d\u043d\u044b\u043c \u0441\u044d\u043c\u043f\u043b\u044b.<\/p>\n<p><strong>\u041f\u0440\u044f\u043c\u0430\u044f \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL.<\/strong> \u042d\u0442\u0438 \u0434\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0432\u0435\u0441\u0442\u0438 \u044f\u0432\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435.<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u044f\u043c\u0430\u044f KL<\/strong>, <img decoding=\"async\" class=\"formula inline\" source=\"D_{KL}(p_{data} \\,\\|\\, p_\\theta)\" alt=\"D_{KL}(p_{data} \\,\\|\\, p_\\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0b\/a0b4324f4ec19c26ad531adf4bfeb303.svg\" width=\"118\" height=\"18\" data-width=\"14.724\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 14.724ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0b\/a0b4324f4ec19c26ad531adf4bfeb303.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0b\/a0b4324f4ec19c26ad531adf4bfeb303.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 MLE. \u041e\u043d\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u0443\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0434 <img decoding=\"async\" class=\"formula inline\" source=\"p_{data}\" alt=\"p_{data}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/809\/809ea1a45a19c249e582abac6f939242.svg\" width=\"35\" height=\"12\" data-width=\"4.428\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 4.428ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/809\/809ea1a45a19c249e582abac6f939242.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/809\/809ea1a45a19c249e582abac6f939242.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0438\u043b\u044c\u043d\u043e \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u044b\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0451\u043c\u043a\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e\u043c\u0443 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u044e \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0432\u0441\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u0430\u0441\u0441\u0443: \u0435\u0441\u043b\u0438 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438\u0437 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u043d\u0435\u043b\u044c\u0437\u044f \u0442\u043e\u0447\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0441\u0435 \u043c\u043e\u0434\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043b\u043e\u043d\u043d\u0430 \u0440\u0430\u0441\u0442\u044f\u043d\u0443\u0442\u044c\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0440\u044b\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434 \u0441\u0440\u0430\u0437\u0443, \u0434\u0430\u0436\u0435 \u0446\u0435\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043c\u0430\u0441\u0441\u044b \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL<\/strong>, <img decoding=\"async\" class=\"formula inline\" source=\"D_{KL}(p_\\theta \\,\\|\\, p_{data})\" alt=\"D_{KL}(p_\\theta \\,\\|\\, p_{data})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/81f\/81fd2913a62a97d23577c3f64889fe92.svg\" width=\"118\" height=\"18\" data-width=\"14.724\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 14.724ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/81f\/81fd2913a62a97d23577c3f64889fe92.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/81f\/81fd2913a62a97d23577c3f64889fe92.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0441\u0438\u043b\u044c\u043d\u043e \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u043b\u0430, \u043d\u043e \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0437\u0430 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u0441\u0432\u043e\u0438\u043b\u0430 \u043d\u0443\u043b\u0435\u0432\u0443\u044e \u043c\u0430\u0441\u0441\u0443. \u041f\u0440\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0449\u0435\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0435 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e\u043c\u0443 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u044e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u044b: \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0443 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u0443\u044e \u043c\u043e\u0434\u0443 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043d\u0430\u043a\u0440\u044b\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e. \u0421 \u044d\u0442\u0438\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044e \u0434\u043b\u044f \u0440\u0435\u0437\u043a\u0438\u0445, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 GAN-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0445\u043e\u0442\u044f \u0434\u043b\u044f \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e GAN \u044d\u0442\u043e \u043d\u0435 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u0430\u044f KL-\u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f &#8212; \u043f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0435 \u0435\u0433\u043e minimax-\u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 \u0441\u0432\u044f\u0437\u0430\u043d \u0441 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0435\u0439 \u0419\u0435\u043d\u0441\u0435\u043d\u0430-\u0428\u0435\u043d\u043d\u043e\u043d\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0410\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 IMLE \u043f\u043e \u0434\u0443\u0445\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e: \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u043b\u0436\u0435\u043d \u0438\u043c\u0435\u0442\u044c \u0440\u044f\u0434\u043e\u043c \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u0441\u044d\u043c\u043f\u043b \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u042d\u0442\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0441\u043e \u0441\u0432\u044f\u0437\u044c\u044e IMLE \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435\u043c, \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0432 Theorem 1 \u043f\u0440\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445.<\/p>\n<h3>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430<\/h3>\n<h4>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/h4>\n<p>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e, \u0447\u0435\u0440\u0435\u0434\u0443\u044f \u0434\u0432\u0430 \u0448\u0430\u0433\u0430: (1) \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0436\u0430\u0434\u043d\u043e\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u043c\u0438 \u0441\u044d\u043c\u043f\u043b\u0430\u043c\u0438, (2) \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438.<\/p>\n<pre><code>\u0414\u0430\u043d\u043e: \u0434\u0430\u043d\u043d\u044b\u0435 {x_i}, i = 1..n; \u043d\u0435\u044f\u0432\u043d\u044b\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 x = T_\u03b8(z), z ~ N(0, I)\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u03b8for k = 1..K (\u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0446\u0438\u043a\u043b):    \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c m \u0441\u044d\u043c\u043f\u043b\u043e\u0432 x\u0303_1, ..., x\u0303_m \u0438\u0437 T_\u03b8    \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0431\u0430\u0442\u0447 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 S \u2286 {1..n}    \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e i \u2208 S:        \u03c3(i) \u2190 argmin_j \u2016x_i \u2212 x\u0303_j\u2016\u00b2        # \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u0441\u044d\u043c\u043f\u043b, \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043d\u0430 \u0432\u0435\u0441\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0446\u0438\u043a\u043b    for l = 1..L (\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0446\u0438\u043a\u043b):        \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447 S\u0303 \u2286 S        \u03b8 \u2190 \u03b8 \u2212 \u03b7 \u2207_\u03b8 [ (n \/ |S\u0303|) \u00b7 \u03a3_{i\u2208S\u0303} \u2016x_i \u2212 x\u0303_{\u03c3(i)}\u2016\u00b2 ]return \u03b8<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 &#8212; \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma(i)\" alt=\"\\sigma(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg\" width=\"31\" height=\"18\" data-width=\"3.833\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 3.833ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e \u0432\u043d\u0435\u0448\u043d\u0435\u043c \u0446\u0438\u043a\u043b\u0435, \u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0433\u043e \u044d\u0442\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438: \u043f\u043e\u0434\u0442\u044f\u043d\u0443\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"T_\\theta(z_{\\sigma(i)})\" alt=\"T_\\theta(z_{\\sigma(i)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/79a\/79a84278ff1757ff7790129455885fa9.svg\" width=\"64\" height=\"20\" data-width=\"7.969\" data-height=\"2.497\" data-vertical-align=\"-0.683\" style=\"width: 7.969ex; height: 2.497ex; vertical-align: -0.683ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/79a\/79a84278ff1757ff7790129455885fa9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/79a\/79a84278ff1757ff7790129455885fa9.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043a <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg\" width=\"16\" height=\"12\" data-width=\"2.034\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 2.034ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0437\u0430\u043a\u0440\u0435\u043f\u043b\u0451\u043d\u043d\u044b\u0445 \u043f\u0430\u0440. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u043d\u0438 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440, \u043d\u0438 \u044f\u0432\u043d\u0430\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u043d\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f &#8212; \u0432\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c\u0443 \u0441\u043f\u0443\u0441\u043a\u0443 \u043f\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c. \u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0446\u0438\u043a\u043b\u044b &#8212; \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c: \u0435\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma(i)\" alt=\"\\sigma(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg\" width=\"31\" height=\"18\" data-width=\"3.833\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 3.833ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u00ab\u0434\u0451\u0440\u0433\u0430\u0442\u044c\u0441\u044f\u00bb \u0432\u0441\u043b\u0435\u0434 \u0437\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439, \u0430 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u0438 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0431\u044b\u043b \u0431\u044b \u043d\u0435\u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043d\u043e \u0434\u043e\u0440\u043e\u0433\u0438\u043c.<\/p>\n<p>\u0412\u043e\u0442 \u043a\u0430\u043a \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0432\u0436\u0438\u0432\u0443\u044e \u043d\u0430 \u0441\u043c\u0435\u0441\u0438 \u0438\u0437 \u0432\u043e\u0441\u044c\u043c\u0438 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d. \u0422\u0451\u043c\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 &#8212; \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u0440\u0430\u0441\u043d\u044b\u0435 &#8212; \u0441\u044d\u043c\u043f\u043b\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u0435\u0440\u044b\u0435 \u043b\u0438\u043d\u0438\u0438 &#8212; \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma(i)\" alt=\"\\sigma(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg\" width=\"31\" height=\"18\" data-width=\"3.833\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 3.833ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a51fa332e00efc63012c6323651273.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/7ce\/524\/deb\/7ce524deb07d67d4fdd9bc56c0943796.png\" alt=\"\u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440 \u0434\u0430\u043d\u043d\u044b\u0435-\u0441\u044d\u043c\u043f\u043b\u044b\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/\/post_images\/7ce\/524\/deb\/7ce524deb07d67d4fdd9bc56c0943796.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/7ce\/524\/deb\/7ce524deb07d67d4fdd9bc56c0943796.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440 \u0434\u0430\u043d\u043d\u044b\u0435-\u0441\u044d\u043c\u043f\u043b\u044b<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0441\u0435 \u0441\u044d\u043c\u043f\u043b\u044b \u0441\u0438\u0434\u044f\u0442 \u0432 \u043d\u0443\u043b\u0435, \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u044f\u043d\u0435\u0442 \u0441\u0432\u043e\u044e \u043f\u0430\u0440\u0443 \u043a \u0441\u0435\u0431\u0435 &#8212; \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0441\u0435\u0440\u044b\u0435 \u0440\u0451\u0431\u0440\u0430 \u0434\u0430\u044e\u0442 \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u0427\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0441\u044d\u043c\u043f\u043b\u044b \u0443\u0436\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u0437\u043b\u0438\u0441\u044c \u043f\u043e \u043a\u043e\u043b\u044c\u0446\u0443, \u0430 \u043a \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0440\u0451\u0431\u0440\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u043c\u0438, \u0447\u0442\u043e \u0438\u0445 \u043d\u0435 \u0432\u0438\u0434\u043d\u043e.<\/p>\n<h4>\u041e\u0434\u043d\u043e\u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439<\/h4>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x_1\" alt=\"x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg\" width=\"18\" height=\"12\" data-width=\"2.282\" data-height=\"1.339\" data-vertical-align=\"-0.339\" style=\"width: 2.282ex; height: 1.339ex; vertical-align: -0.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043e\u0434\u0438\u043d \u0441\u044d\u043c\u043f\u043b <img decoding=\"async\" class=\"formula inline\" source=\"\\tilde x_1^\\theta\" alt=\"\\tilde x_1^\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/568\/5685138396a8abe199a14bb1ef04b2b0.svg\" width=\"18\" height=\"21\" data-width=\"2.282\" data-height=\"2.628\" data-vertical-align=\"-0.748\" style=\"width: 2.282ex; height: 2.628ex; vertical-align: -0.748ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/568\/5685138396a8abe199a14bb1ef04b2b0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/568\/5685138396a8abe199a14bb1ef04b2b0.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\tilde R^\\theta = \\|\\tilde x_1^\\theta - x_1\\|_2^2\" alt=\"\\tilde R^\\theta = \\|\\tilde x_1^\\theta - x_1\\|_2^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67f\/67f4359b4a6cf189e1e29496f931e1e9.svg\" width=\"130\" height=\"22\" data-width=\"16.252\" data-height=\"2.808\" data-vertical-align=\"-0.838\" style=\"width: 16.252ex; height: 2.808ex; vertical-align: -0.838ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67f\/67f4359b4a6cf189e1e29496f931e1e9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67f\/67f4359b4a6cf189e1e29496f931e1e9.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"F^\\theta(t)\" alt=\"F^\\theta(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f62e8584bd6bac95ae63dce69b57bf.svg\" width=\"43\" height=\"21\" data-width=\"5.335\" data-height=\"2.628\" data-vertical-align=\"-0.748\" style=\"width: 5.335ex; height: 2.628ex; vertical-align: -0.748ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f62e8584bd6bac95ae63dce69b57bf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f62e8584bd6bac95ae63dce69b57bf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0427\u0435\u043c \u0432\u044b\u0448\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1\" alt=\"x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg\" width=\"18\" height=\"12\" data-width=\"2.282\" data-height=\"1.339\" data-vertical-align=\"-0.339\" style=\"width: 2.282ex; height: 1.339ex; vertical-align: -0.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"F^\\theta(t)\" alt=\"F^\\theta(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f62e8584bd6bac95ae63dce69b57bf.svg\" width=\"43\" height=\"21\" data-width=\"5.335\" data-height=\"2.628\" data-vertical-align=\"-0.748\" style=\"width: 5.335ex; height: 2.628ex; vertical-align: -0.748ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f62e8584bd6bac95ae63dce69b57bf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f62e8584bd6bac95ae63dce69b57bf.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438 \u043c\u0430\u043b\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg\" width=\"12\" height=\"12\" data-width=\"0.817\" data-height=\"1.441\" data-vertical-align=\"-0.025\" style=\"width: 0.817ex; height: 1.441ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0432 \u0448\u0430\u0440 \u043c\u0430\u043b\u043e\u0433\u043e \u0440\u0430\u0434\u0438\u0443\u0441\u0430 \u0432\u043e\u043a\u0440\u0443\u0433 <img decoding=\"async\" class=\"formula inline\" source=\"x_1\" alt=\"x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg\" width=\"18\" height=\"12\" data-width=\"2.282\" data-height=\"1.339\" data-vertical-align=\"-0.339\" style=\"width: 2.282ex; height: 1.339ex; vertical-align: -0.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043c\u0430\u0441\u0441\u044b). \u0414\u043b\u044f \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0435\u0441\u0442\u044c \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathbb E[\\tilde R^\\theta] = \\int_0^\\infty \\Pr(\\tilde R^\\theta &gt; t)\\, dt = \\int_0^\\infty \\left(1 - F^\\theta(t)\\right) dt,\" alt=\"\\mathbb E[\\tilde R^\\theta] = \\int_0^\\infty \\Pr(\\tilde R^\\theta &gt; t)\\, dt = \\int_0^\\infty \\left(1 - F^\\theta(t)\\right) dt,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/048\/048ed33f3c5748937bcaeca690cb0185.svg\" width=\"379\" height=\"42\" data-width=\"47.345\" data-height=\"5.232\" data-vertical-align=\"-2.05\" style=\"width: 47.345ex; height: 5.232ex; vertical-align: -2.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/048\/048ed33f3c5748937bcaeca690cb0185.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/048\/048ed33f3c5748937bcaeca690cb0185.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043b\u043e\u0449\u0430\u0434\u044c \u043f\u043e\u0434 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"1 - F^\\theta(t)\" alt=\"1 - F^\\theta(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c52\/c52db032cab6568191f6a1ab9d9cbd17.svg\" width=\"74\" height=\"21\" data-width=\"9.232\" data-height=\"2.628\" data-vertical-align=\"-0.748\" style=\"width: 9.232ex; height: 2.628ex; vertical-align: -0.748ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c52\/c52db032cab6568191f6a1ab9d9cbd17.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c52\/c52db032cab6568191f6a1ab9d9cbd17.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_1\" alt=\"x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg\" width=\"18\" height=\"12\" data-width=\"2.282\" data-height=\"1.339\" data-vertical-align=\"-0.339\" style=\"width: 2.282ex; height: 1.339ex; vertical-align: -0.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa6\/aa687da0086c1ea060a8838e24611319.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"F^\\theta\" alt=\"F^\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/175\/175f63e657e8af34475520645d34a912.svg\" width=\"22\" height=\"21\" data-width=\"2.758\" data-height=\"2.628\" data-vertical-align=\"-0.748\" style=\"width: 2.758ex; height: 2.628ex; vertical-align: -0.748ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/175\/175f63e657e8af34475520645d34a912.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/175\/175f63e657e8af34475520645d34a912.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0430\u0441\u0442\u0438 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u043f\u043b\u043e\u0449\u0430\u0434\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbb E[\\tilde R^\\theta]\" alt=\"\\mathbb E[\\tilde R^\\theta]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/494\/494b25fa7d59b4f8ebdc25ad4879fda4.svg\" width=\"43\" height=\"22\" data-width=\"5.422\" data-height=\"2.808\" data-vertical-align=\"-0.838\" style=\"width: 5.422ex; height: 2.808ex; vertical-align: -0.838ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/494\/494b25fa7d59b4f8ebdc25ad4879fda4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/494\/494b25fa7d59b4f8ebdc25ad4879fda4.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e: \u0435\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043e\u0442 \u0440\u0430\u0434\u0438\u0443\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/251\/2510c39011c5be704182423e3a695e91.svg\" width=\"12\" height=\"13\" data-width=\"1.303\" data-height=\"1.595\" data-vertical-align=\"-0.025\" style=\"width: 1.303ex; height: 1.595ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/251\/2510c39011c5be704182423e3a695e91.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/251\/2510c39011c5be704182423e3a695e91.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043a \u043e\u0431\u044a\u0451\u043c\u0443 \u0448\u0430\u0440\u0430 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0434\u0438\u0443\u0441\u0430 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg\" width=\"12\" height=\"13\" data-width=\"1.176\" data-height=\"1.593\" data-vertical-align=\"-0.023\" style=\"width: 1.176ex; height: 1.593ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u0435\u043d <img decoding=\"async\" class=\"formula inline\" source=\"h^d\" alt=\"h^d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d53\/d539600df3a05451869b736f4e21e51e.svg\" width=\"19\" height=\"17\" data-width=\"2.323\" data-height=\"2.07\" data-vertical-align=\"-0.025\" style=\"width: 2.323ex; height: 2.07ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d53\/d539600df3a05451869b736f4e21e51e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d53\/d539600df3a05451869b736f4e21e51e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>), \u0442\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"F^\\theta(h)\" alt=\"F^\\theta(h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/43\/437\/4379366afa96a9ae0e027ff9a7501f1a.svg\" width=\"47\" height=\"21\" data-width=\"5.821\" data-height=\"2.628\" data-vertical-align=\"-0.748\" style=\"width: 5.821ex; height: 2.628ex; vertical-align: -0.748ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/43\/437\/4379366afa96a9ae0e027ff9a7501f1a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/43\/437\/4379366afa96a9ae0e027ff9a7501f1a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043a \u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u044a\u0451\u043c\u0443 \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"h \\to 0^+\" alt=\"h \\to 0^+\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f55\/f551e56b5a463c4644f671e28c715333.svg\" width=\"59\" height=\"19\" data-width=\"7.386\" data-height=\"2.433\" data-vertical-align=\"-0.651\" style=\"width: 7.386ex; height: 2.433ex; vertical-align: -0.651ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f55\/f551e56b5a463c4644f671e28c715333.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f55\/f551e56b5a463c4644f671e28c715333.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u043a \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x_1)\" alt=\"p_\\theta(x_1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03a746755de3fb6c0cda9fc7882a7b6.svg\" width=\"49\" height=\"18\" data-width=\"6.118\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.118ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03a746755de3fb6c0cda9fc7882a7b6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03a746755de3fb6c0cda9fc7882a7b6.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u043e\u0441\u0442\u0430 CDF \u0432 \u043d\u0443\u043b\u0435 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c\u044e. \u041e\u0442\u0441\u044e\u0434\u0430 \u0438 \u0441\u0432\u044f\u0437\u044c: \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u044d\u043c\u043f\u043b\u0430 \u0432 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u0442\u043e\u0447\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h4>\u041c\u043d\u043e\u0433\u043e\u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0430 n \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/h4>\n<p>\u041f\u0435\u0440\u0435\u0439\u0442\u0438 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u043a \u0441\u0443\u043c\u043c\u0435 \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg\" width=\"12\" height=\"12\" data-width=\"1.357\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.357ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u043e\u0447\u043a\u0430\u043c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043d\u0435\u043b\u044c\u0437\u044f &#8212; \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x_i)\" alt=\"p_\\theta(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f5e\/f5e316536bf011384e92860e99e1fd26.svg\" width=\"47\" height=\"18\" data-width=\"5.87\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.87ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f5e\/f5e316536bf011384e92860e99e1fd26.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f5e\/f5e316536bf011384e92860e99e1fd26.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0441\u0442\u0438 \u0438 \u0443\u0431\u044b\u0432\u0430\u0442\u044c \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg\" width=\"12\" height=\"18\" data-width=\"1.061\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.061ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0443\u043c\u043c\u044b <img decoding=\"async\" class=\"formula inline\" source=\"\\sum_i \\mathbb E[R_i^\\theta]\" alt=\"\\sum_i \\mathbb E[R_i^\\theta]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f50\/f501f3ec42670e8d5dd1a058149c885f.svg\" width=\"73\" height=\"39\" data-width=\"9.066\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 9.066ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f50\/f501f3ec42670e8d5dd1a058149c885f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f50\/f501f3ec42670e8d5dd1a058149c885f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\sum_i \\log p_\\theta(x_i)\" alt=\"\\sum_i \\log p_\\theta(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7d\/7d0\/7d009808719ed7f42b248427c2624222.svg\" width=\"102\" height=\"39\" data-width=\"12.783\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 12.783ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7d\/7d0\/7d009808719ed7f42b248427c2624222.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7d\/7d0\/7d009808719ed7f42b248427c2624222.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c, \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043e\u0431\u0449\u0438\u0439 \u043f\u0440\u0438\u0451\u043c \u043f\u0440\u043e \u0437\u0430\u043c\u0435\u043d\u0443 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0432\u043d\u0443\u0442\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\arg\\min\" alt=\"\\arg\\min\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b5f\/b5f6771b9577e973e0ac604e59a54472.svg\" width=\"58\" height=\"18\" data-width=\"7.298\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.298ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b5f\/b5f6771b9577e973e0ac604e59a54472.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b5f\/b5f6771b9577e973e0ac604e59a54472.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f_i(\\theta) := -\\log p_\\theta(x_i)\" alt=\"f_i(\\theta) := -\\log p_\\theta(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c8\/6c8a9feb5a2c21460ec7614f597cd377.svg\" width=\"157\" height=\"18\" data-width=\"19.591\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 19.591ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c8\/6c8a9feb5a2c21460ec7614f597cd377.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c8\/6c8a9feb5a2c21460ec7614f597cd377.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u0430\u043a \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\arg\\min_\\theta \\sum_i f_i(\\theta) = \\arg\\max_\\theta \\sum_i \\log p_\\theta(x_i)\" alt=\"\\arg\\min_\\theta \\sum_i f_i(\\theta) = \\arg\\max_\\theta \\sum_i \\log p_\\theta(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ac\/ac6\/ac60473da5f6bf081bbcf62aeed45352.svg\" width=\"319\" height=\"39\" data-width=\"39.902\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 39.902ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ac\/ac6\/ac60473da5f6bf081bbcf62aeed45352.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ac\/ac6\/ac60473da5f6bf081bbcf62aeed45352.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c MLE. \u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u0443\u044e \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"\\Phi\" alt=\"\\Phi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f5\/2f51310acab41649af988ccebfe4186d.svg\" width=\"13\" height=\"18\" data-width=\"1.633\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.633ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f5\/2f51310acab41649af988ccebfe4186d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f5\/2f51310acab41649af988ccebfe4186d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0432\u0435\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"w_i\" alt=\"w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg\" width=\"19\" height=\"12\" data-width=\"2.36\" data-height=\"1.359\" data-vertical-align=\"-0.357\" style=\"width: 2.36ex; height: 1.359ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\arg\\min_\\theta \\sum_i w_i \\, \\Phi(f_i(\\theta)) \\;=\\; \\arg\\min_\\theta \\sum_i f_i(\\theta),\" alt=\"\\arg\\min_\\theta \\sum_i w_i \\, \\Phi(f_i(\\theta)) \\;=\\; \\arg\\min_\\theta \\sum_i f_i(\\theta),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c0f\/c0f6b7cb62a257c2d8090f1c817ab1dd.svg\" width=\"344\" height=\"39\" data-width=\"43.012\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 43.012ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c0f\/c0f6b7cb62a257c2d8090f1c817ab1dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c0f\/c0f6b7cb62a257c2d8090f1c817ab1dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043b\u0435\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0430 \u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043e\u043c IMLE. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\Psi(z) := \\min_\\theta \\left\\{ \\mathbb E[R^\\theta] \\;\\middle|\\; p_\\theta(0) = z \\right\\}\" alt=\"\\Psi(z) := \\min_\\theta \\left\\{ \\mathbb E[R^\\theta] \\;\\middle|\\; p_\\theta(0) = z \\right\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/702\/702cc17ce1c1de28f3c03ecf92d7c34b.svg\" width=\"252\" height=\"30\" data-width=\"31.475\" data-height=\"3.81\" data-vertical-align=\"-1.339\" style=\"width: 31.475ex; height: 3.81ex; vertical-align: -1.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/702\/702cc17ce1c1de28f3c03ecf92d7c34b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/702\/702cc17ce1c1de28f3c03ecf92d7c34b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<ul>\n<li>\n<p>\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u0441\u044d\u043c\u043f\u043b\u0430 \u0432 \u0442\u043e\u0447\u043a\u0435, \u0433\u0434\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0432\u043d\u0430 \u0440\u043e\u0432\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg\" width=\"12\" height=\"12\" data-width=\"1.052\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.052ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0441\u0434\u0432\u0438\u0433\u043e\u0432\u043e\u0439 \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P_\\theta\" alt=\"P_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f7\/f72\/f72e471b040be3f05432e05dd28f33b8.svg\" width=\"19\" height=\"18\" data-width=\"2.391\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.391ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f7\/f72\/f72e471b040be3f05432e05dd28f33b8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f7\/f72\/f72e471b040be3f05432e05dd28f33b8.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0441\u0434\u0432\u0438\u0433\u0430 \u043d\u0430\u0439\u0434\u0451\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u0434\u0430\u044e\u0449\u0438\u0439 \u0442\u0443 \u0436\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u0441\u0434\u0432\u0438\u043d\u0443\u0442\u0443\u044e \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440), \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\Psi\" alt=\"\\Psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg\" width=\"14\" height=\"18\" data-width=\"1.76\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.76ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0442\u0440\u043e\u0433\u043e \u0443\u0431\u044b\u0432\u0430\u0435\u0442: \u0447\u0435\u043c \u0432\u044b\u0448\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u0442\u043e\u0447\u043a\u0435, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u043d\u0435\u0451. \u0418\u0437 \u0441\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Psi\" alt=\"\\Psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg\" width=\"14\" height=\"18\" data-width=\"1.76\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.76ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Phi(y) := \\Psi(e^{-y})\" alt=\"\\Phi(y) := \\Psi(e^{-y})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/506\/506ff88fef8fb61828a4584eb5fe4e8e.svg\" width=\"120\" height=\"19\" data-width=\"14.939\" data-height=\"2.433\" data-vertical-align=\"-0.651\" style=\"width: 14.939ex; height: 2.433ex; vertical-align: -0.651ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/506\/506ff88fef8fb61828a4584eb5fe4e8e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/506\/506ff88fef8fb61828a4584eb5fe4e8e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0442\u0440\u043e\u0433\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442 (\u0443\u0431\u044b\u0432\u0430\u044e\u0449\u0430\u044f \u043e\u0442 \u0443\u0431\u044b\u0432\u0430\u044e\u0449\u0435\u0439 &#8212; \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u044e\u0449\u0430\u044f), \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u043e\u0439 \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u043d\u044b. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\Phi(f_i(\\theta)) = \\Psi\\!\\left(p_\\theta(x_i)\\right) = \\min_{\\theta'} \\mathbb E[R_i^{\\theta'}]\" alt=\"\\Phi(f_i(\\theta)) = \\Psi\\!\\left(p_\\theta(x_i)\\right) = \\min_{\\theta'} \\mathbb E[R_i^{\\theta'}]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/345\/345f925b121de92c8cc4c4c51add6201.svg\" width=\"268\" height=\"31\" data-width=\"33.502\" data-height=\"3.897\" data-vertical-align=\"-1.383\" style=\"width: 33.502ex; height: 3.897ex; vertical-align: -1.383ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/345\/345f925b121de92c8cc4c4c51add6201.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/345\/345f925b121de92c8cc4c4c51add6201.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u044d\u043c\u043f\u043b\u0430 \u0432 \u0442\u043e\u0447\u043a\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg\" width=\"16\" height=\"12\" data-width=\"2.034\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 2.034ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 IMLE \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 &#8212; \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 (Theorem 1): \u043f\u0440\u0438 \u0440\u044f\u0434\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u043d\u0430 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta\" alt=\"p_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg\" width=\"17\" height=\"18\" data-width=\"2.076\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.076ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<ul>\n<li>\n<p>\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x)\" alt=\"p_\\theta(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg\" width=\"41\" height=\"18\" data-width=\"5.13\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.13ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/880\/880f9a5ddfd80baa88e31b5cafc0930e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg\" width=\"12\" height=\"18\" data-width=\"1.061\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.061ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.294ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u043d\u0443\u0436\u043d\u0430, \u0447\u0442\u043e\u0431\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u0440\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0434\u0432\u0438\u0433\u043e\u0432\u0430\u044f \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 &#8212; \u043d\u0443\u0436\u043d\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg\" width=\"16\" height=\"12\" data-width=\"2.034\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 2.034ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0441\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u043d\u0443\u043b\u0435 \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430, \u043a\u0430\u043a \u0432\u044b\u0448\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430 \u201c\u0437\u0430\u043c\u043a\u043d\u0443\u0442\u043e\u0441\u0442\u044c \u043f\u043e \u043c\u0430\u0436\u043e\u0440\u0430\u043d\u0442\u0435\u201d: \u0434\u043b\u044f \u043b\u044e\u0431\u044b\u0445 \u0434\u0432\u0443\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430\u0439\u0434\u0451\u0442\u0441\u044f \u0442\u0440\u0435\u0442\u0438\u0439, \u0447\u044c\u044f CDF \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e \u043d\u0443\u043b\u044f \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0431\u0435\u0438\u0445 \u043f\u043e\u0442\u043e\u0447\u0435\u0447\u043d\u043e, \u0430 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u043d\u0443\u043b\u0435 \u0440\u0430\u0432\u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0443 \u0438\u0437 \u0434\u0432\u0443\u0445 &#8212; \u044d\u0442\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Psi\" alt=\"\\Psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg\" width=\"14\" height=\"18\" data-width=\"1.76\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.76ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p>\u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f: \u0432\u043d\u0435 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\theta^*\" alt=\"\\theta^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg\" width=\"16\" height=\"18\" data-width=\"2.049\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.049ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\theta^*\" alt=\"\\theta^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg\" width=\"16\" height=\"18\" data-width=\"2.049\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.049ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, &#8212; \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u0443\u043c\u043c\u0430 \u043c\u043e\u0433\u043b\u0430 \u0431\u044b \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\Psi\" alt=\"\\Psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg\" width=\"14\" height=\"18\" data-width=\"1.76\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.76ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/721\/7211c2fa4ea74200d14e81d44376b8c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u0441\u0442\u044c: \u0432\u043d\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\theta^*\" alt=\"\\theta^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg\" width=\"16\" height=\"18\" data-width=\"2.049\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.049ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u0430 IMLE \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0431\u043d\u0443\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e &#8212; \u0438\u043d\u0430\u0447\u0435 \u0443 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0431\u044b \u043b\u0438\u0448\u043d\u0438\u0435 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u043f\u043e\u043c\u0438\u043c\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\theta^*\" alt=\"\\theta^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg\" width=\"16\" height=\"18\" data-width=\"2.049\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.049ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 781w\" loading=\"lazy\" decode=\"async\"\/>,<\/p>\n<\/li>\n<\/ul>\n<p>\u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u0430 IMLE \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\arg\\min_\\theta \\sum_{i=1}^n \\frac{\\mathbb E[R_i^\\theta]}{\\Psi'(p_{\\theta^*}(x_i))\\, p_{\\theta^*}(x_i)} \\;=\\; \\arg\\max_\\theta \\sum_{i=1}^n \\log p_\\theta(x_i).\" alt=\"\\arg\\min_\\theta \\sum_{i=1}^n \\frac{\\mathbb E[R_i^\\theta]}{\\Psi'(p_{\\theta^*}(x_i))\\, p_{\\theta^*}(x_i)} \\;=\\; \\arg\\max_\\theta \\sum_{i=1}^n \\log p_\\theta(x_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b1\/b1b\/b1b94a459bac417038dae9ca086b9545.svg\" width=\"446\" height=\"52\" data-width=\"55.778\" data-height=\"6.486\" data-vertical-align=\"-2.677\" style=\"width: 55.778ex; height: 6.486ex; vertical-align: -2.677ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b1\/b1b\/b1b94a459bac417038dae9ca086b9545.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b1\/b1b\/b1b94a459bac417038dae9ca086b9545.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u0435\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"w_i = 1\/\\left(\\Psi'(p_{\\theta^*}(x_i))\\, p_{\\theta^*}(x_i)\\right)\" alt=\"w_i = 1\/\\left(\\Psi'(p_{\\theta^*}(x_i))\\, p_{\\theta^*}(x_i)\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c0f\/c0f3a5d0e6397b3a78702be772b55994.svg\" width=\"222\" height=\"22\" data-width=\"27.752\" data-height=\"2.713\" data-vertical-align=\"-0.791\" style=\"width: 27.752ex; height: 2.713ex; vertical-align: -0.791ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c0f\/c0f3a5d0e6397b3a78702be772b55994.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c0f\/c0f3a5d0e6397b3a78702be772b55994.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0435\u0449\u0451 \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\theta^*\" alt=\"\\theta^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg\" width=\"16\" height=\"18\" data-width=\"2.049\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.049ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbb\/fbb9ac5c4ee41f4b9f87e318f5076e56.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041d\u043e \u0435\u0441\u043b\u0438 \u0432 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430 \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, <img decoding=\"async\" class=\"formula inline\" source=\"p_{\\theta^*}(x_1) = \\dots = p_{\\theta^*}(x_n)\" alt=\"p_{\\theta^*}(x_1) = \\dots = p_{\\theta^*}(x_n)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b29\/b296b541a509208cb2949dd28f94a8e6.svg\" width=\"180\" height=\"18\" data-width=\"22.479\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 22.479ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b29\/b296b541a509208cb2949dd28f94a8e6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b29\/b296b541a509208cb2949dd28f94a8e6.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u043e\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 &#8212; \u0438\u043d\u0430\u0447\u0435 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0435\u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043d\u043e \u0437\u0430\u043d\u0438\u0436\u0435\u043d\u043e \u0438\u0437-\u0437\u0430 \u0441\u0430\u043c\u044b\u0445 \u00ab\u0441\u043b\u0430\u0431\u044b\u0445\u00bb \u0442\u043e\u0447\u0435\u043a), \u0432\u0441\u0435 \u0432\u0435\u0441\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0438 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f, \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0442 \u0431\u0435\u0437\u0432\u0435\u0441\u043e\u0432\u0430\u044f \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u043f\u0438\u0441\u0430\u043d\u0430 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u0432\u044b\u0448\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\arg\\min_\\theta \\sum_{i=1}^n \\mathbb E[R_i^\\theta] = \\arg\\max_\\theta \\sum_{i=1}^n \\log p_\\theta(x_i).\" alt=\"\\arg\\min_\\theta \\sum_{i=1}^n \\mathbb E[R_i^\\theta] = \\arg\\max_\\theta \\sum_{i=1}^n \\log p_\\theta(x_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4d9\/4d99b1ece7e5cac5cda7b8e2eeedf121.svg\" width=\"330\" height=\"51\" data-width=\"41.284\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 41.284ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4d9\/4d99b1ece7e5cac5cda7b8e2eeedf121.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4d9\/4d99b1ece7e5cac5cda7b8e2eeedf121.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u0441\u0430 \u043d\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f, \u043d\u0435\u043e\u0431\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0430 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0439 &#8212; \u0438 \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u043d\u0438\u0436\u0430\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0438 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u0435\u043c \u0442\u043e\u0447\u043d\u0435\u0435 \u044d\u0442\u0430 \u043e\u0446\u0435\u043d\u043a\u0430.<\/p>\n<h3>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u044f \u043f\u0440\u043e\u0432\u0435\u0434 \u0441\u0435\u0440\u0438\u044e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043b \u0441\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0431\u0437\u043e\u0440\u043e\u043c \u0441\u0443\u0445\u043e\u0439 \u0442\u0435\u043e\u0440\u0438\u0438, \u043d\u043e \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0438 \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u042f \u043d\u0435 \u0434\u0435\u043b\u0430\u043b \u0442\u044f\u0436\u0435\u043b\u0432\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b &#8212; \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0430 CPU. \u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c 1 \u0432\u044b\u0448\u0435 (\u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0446\u0438\u043a\u043b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043b\u0430\u0442\u0435\u043d\u0442\u043e\u0432 \u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0434\u0435\u043b\u0430\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"L = 15\" alt=\"L = 15\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/727\/72726b050d6de4e221f523c79d923048.svg\" width=\"55\" height=\"14\" data-width=\"6.82\" data-height=\"1.731\" data-vertical-align=\"-0.186\" style=\"width: 6.82ex; height: 1.731ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/727\/72726b050d6de4e221f523c79d923048.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/727\/72726b050d6de4e221f523c79d923048.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0448\u0430\u0433\u043e\u0432 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438), \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 &#8212; \u043e\u0431\u044b\u0447\u043d\u044b\u0439 MLP \u043d\u0430 \u0442\u0440\u0438 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043b\u043e\u044f \u043f\u043e 128 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0441 LeakyReLU. \u041e\u0433\u043e\u0432\u043e\u0440\u044e\u0441\u044c \u0441\u0440\u0430\u0437\u0443 &#8212; \u044d\u0442\u043e \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 1-2, \u0430 \u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438, \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<h4>\u0427\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0431\u0435\u0437\u0432\u0435\u0441\u043e\u0432\u043e\u0439 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432<\/h4>\n<p>\u041d\u0430\u0447\u0430\u0442\u044c \u044f \u0445\u043e\u0442\u0435\u043b \u0441 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438: \u0432\u0437\u044f\u0442\u044c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal N(\\mu, \\sigma^2)\" alt=\"\\mathcal N(\\mu, \\sigma^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/495\/49507e478a01a0eac72f626d06277aae.svg\" width=\"69\" height=\"21\" data-width=\"8.625\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 8.625ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/495\/49507e478a01a0eac72f626d06277aae.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/495\/49507e478a01a0eac72f626d06277aae.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal N(3,\\,1.5^2)\" alt=\"\\mathcal N(3,\\,1.5^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/66\/66a\/66ae85d25ffd5991e9ebaca61c435b43.svg\" width=\"83\" height=\"21\" data-width=\"10.369\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 10.369ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/66\/66a\/66ae85d25ffd5991e9ebaca61c435b43.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/66\/66a\/66ae85d25ffd5991e9ebaca61c435b43.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e IMLE \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0442\u0435 \u0436\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat\\mu, \\hat\\sigma\" alt=\"\\hat\\mu, \\hat\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b25\/b25228c462d7dc8127193f40c751c20a.svg\" width=\"29\" height=\"19\" data-width=\"3.662\" data-height=\"2.398\" data-vertical-align=\"-0.633\" style=\"width: 3.662ex; height: 2.398ex; vertical-align: -0.633ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b25\/b25228c462d7dc8127193f40c751c20a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b25\/b25228c462d7dc8127193f40c751c20a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0447\u0442\u043e \u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 MLE. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0435 \u043f\u0440\u043e\u0448\u043b\u0430 &#8212; \u0438 \u0432\u043e\u0442 \u0442\u0443\u0442 \u0443\u0436\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e.<\/p>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0433\u043e\u043d\u044f\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 (\u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0432\u043e\u0438 \u043f\u0430\u0442\u043e\u043b\u043e\u0433\u0438\u0438), \u044f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b \u0441\u0430\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbb E[\\sum_i R_i^\\theta]\" alt=\"\\mathbb E[\\sum_i R_i^\\theta]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c1\/c1f\/c1f4f2683655e323932deb117ff353d4.svg\" width=\"73\" height=\"39\" data-width=\"9.066\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 9.066ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c1\/c1f\/c1f4f2683655e323932deb117ff353d4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c1\/c1f\/c1f4f2683655e323932deb117ff353d4.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e \u0441\u0435\u0442\u043a\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b, \u0433\u0434\u0435 \u0443 \u043d\u0435\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/58e\/978\/445\/58e978445e9b9127ecffff4bac913521.png\" alt=\"\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 Theorem 1 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430\u0445\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/\/post_images\/58e\/978\/445\/58e978445e9b9127ecffff4bac913521.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/58e\/978\/445\/58e978445e9b9127ecffff4bac913521.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 Theorem 1 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430\u0445<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg\" width=\"12\" height=\"18\" data-width=\"1.364\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.364ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u0441\u0451 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435: \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u0430 \u0441\u0442\u043e\u0438\u0442 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat\\mu \\approx 2.88\" alt=\"\\hat\\mu \\approx 2.88\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab11aa1e29b4bb2bcc0ebfd85d6172.svg\" width=\"67\" height=\"19\" data-width=\"8.404\" data-height=\"2.398\" data-vertical-align=\"-0.633\" style=\"width: 8.404ex; height: 2.398ex; vertical-align: -0.633ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab11aa1e29b4bb2bcc0ebfd85d6172.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab11aa1e29b4bb2bcc0ebfd85d6172.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat\\mu_{MLE} = 2.96\" alt=\"\\hat\\mu_{MLE} = 2.96\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/979\/979c3fa2bd3e5fbd10193a05abf063ee.svg\" width=\"101\" height=\"19\" data-width=\"12.585\" data-height=\"2.398\" data-vertical-align=\"-0.633\" style=\"width: 12.585ex; height: 2.398ex; vertical-align: -0.633ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/979\/979c3fa2bd3e5fbd10193a05abf063ee.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/979\/979c3fa2bd3e5fbd10193a05abf063ee.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0448\u0430\u0433\u0430 \u0441\u0435\u0442\u043a\u0438 \u0438 \u0448\u0443\u043c\u0430 \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e). \u0410 \u0432\u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat\\sigma\" alt=\"\\hat\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b94\/b946f99c26d7de207fe8ef33a75d2df2.svg\" width=\"12\" height=\"19\" data-width=\"1.292\" data-height=\"2.398\" data-vertical-align=\"-0.633\" style=\"width: 1.292ex; height: 2.398ex; vertical-align: -0.633ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b94\/b946f99c26d7de207fe8ef33a75d2df2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b94\/b946f99c26d7de207fe8ef33a75d2df2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u0430 \u0438, \u0447\u0442\u043e \u0445\u0443\u0436\u0435, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: \u043e\u0442 \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\hat\\sigma \\to 0\" alt=\"\\hat\\sigma \\to 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea7\/ea72a5d3407681abcc953b515780eb02.svg\" width=\"48\" height=\"19\" data-width=\"5.942\" data-height=\"2.398\" data-vertical-align=\"-0.633\" style=\"width: 5.942ex; height: 2.398ex; vertical-align: -0.633ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea7\/ea72a5d3407681abcc953b515780eb02.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea7\/ea72a5d3407681abcc953b515780eb02.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"m = 1\" alt=\"m = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f3\/f3f\/f3fa7ed3e0e30cc639e9ce8cb1dff9ca.svg\" width=\"49\" height=\"14\" data-width=\"6.135\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 6.135ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f3\/f3f\/f3fa7ed3e0e30cc639e9ce8cb1dff9ca.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f3\/f3f\/f3fa7ed3e0e30cc639e9ce8cb1dff9ca.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\hat\\sigma \\approx 2.5\" alt=\"\\hat\\sigma \\approx 2.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e7\/9e7bf623430064e6c75dd2b32ec460a8.svg\" width=\"58\" height=\"19\" data-width=\"7.2\" data-height=\"2.398\" data-vertical-align=\"-0.633\" style=\"width: 7.2ex; height: 2.398ex; vertical-align: -0.633ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e7\/9e7bf623430064e6c75dd2b32ec460a8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e7\/9e7bf623430064e6c75dd2b32ec460a8.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"m = 1024\" alt=\"m = 1024\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72d\/72d48136aac16467d17390ba086b803e.svg\" width=\"76\" height=\"14\" data-width=\"9.528\" data-height=\"1.717\" data-vertical-align=\"-0.186\" style=\"width: 9.528ex; height: 1.717ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72d\/72d48136aac16467d17390ba086b803e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72d\/72d48136aac16467d17390ba086b803e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\hat\\sigma_{MLE} = 1.47\" alt=\"\\hat\\sigma_{MLE} = 1.47\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cd\/4cd9a27332e404995b6b709559b6b42b.svg\" width=\"100\" height=\"19\" data-width=\"12.512\" data-height=\"2.398\" data-vertical-align=\"-0.633\" style=\"width: 12.512ex; height: 2.398ex; vertical-align: -0.633ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cd\/4cd9a27332e404995b6b709559b6b42b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cd\/4cd9a27332e404995b6b709559b6b42b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0430\u043d\u0435\u043b\u044c (a) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442: \u0441 \u0440\u043e\u0441\u0442\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043d\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0451 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u043e\u0433\u0438\u043c, \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"m \\gtrsim 64\" alt=\"m \\gtrsim 64\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e2d\/e2d07e2520b9751eb8fac13d885f1ad3.svg\" width=\"58\" height=\"18\" data-width=\"7.266\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.266ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e2d\/e2d07e2520b9751eb8fac13d885f1ad3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e2d\/e2d07e2520b9751eb8fac13d885f1ad3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u043f\u043b\u043e\u0441\u043a\u0430\u044f \u043d\u0430 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab7d71a0f07f388ff823293c147d21.svg\" width=\"12\" height=\"18\" data-width=\"1.292\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.292ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab7d71a0f07f388ff823293c147d21.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab7d71a0f07f388ff823293c147d21.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0441\u0451 \u0441\u043b\u0430\u0431\u0435\u0435.<\/p>\n<p>\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0440\u043e\u0432\u043d\u043e \u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u043b\u0438 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043f\u0440\u043e Theorem 1: \u0432\u0435\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"w_i\" alt=\"w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg\" width=\"19\" height=\"12\" data-width=\"2.36\" data-height=\"1.359\" data-vertical-align=\"-0.357\" style=\"width: 2.36ex; height: 1.359ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430 \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0414\u043b\u044f \u0436\u0451\u0441\u0442\u043a\u043e\u0439 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u044b \u043d\u0430 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u0446\u0435\u043d\u0442\u0440\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0438 \u0432 \u0445\u0432\u043e\u0441\u0442\u0430\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438. \u0411\u0435\u0437\u0432\u0435\u0441\u043e\u0432\u043e\u0439 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0432\u0430\u0436\u043d\u044b\u043c \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u0447\u0435\u043a, \u0430 \u0445\u0432\u043e\u0441\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0442 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u044d\u043c\u043f\u043b\u0430 &#8212; \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0434\u043e \u043d\u0438\u0445 \u0434\u043e\u0442\u044f\u043d\u0443\u0442\u044c\u0441\u044f.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u044f\u043c\u044b\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c. \u0412\u043e\u0437\u044c\u043c\u0451\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal U(c - w,\\, c + w)\" alt=\"\\mathcal U(c - w,\\, c + w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c5b\/c5bf8d38467d036e820dc732ef9b3883.svg\" width=\"123\" height=\"18\" data-width=\"15.429\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 15.429ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c5b\/c5bf8d38467d036e820dc732ef9b3883.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c5b\/c5bf8d38467d036e820dc732ef9b3883.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0437\u0434\u0435\u0441\u044c \u0432 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e <strong>\u0432\u0441\u0435\u0445<\/strong> \u0442\u043e\u0447\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430 \u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043e \u0442\u043e\u0447\u043d\u043e. \u0418 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043f\u0430\u043d\u0435\u043b\u044c \u00a9: \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"m \\ge 8\" alt=\"m \\ge 8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9be\/9be68665792186ee1383ec46f85e50f8.svg\" width=\"49\" height=\"18\" data-width=\"6.135\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.135ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9be\/9be68665792186ee1383ec46f85e50f8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9be\/9be68665792186ee1383ec46f85e50f8.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u0435\u0437\u0432\u0435\u0441\u043e\u0432\u043e\u0439 IMLE \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 MLE \u0432 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0437\u043d\u0430\u043a\u0435 (<img decoding=\"async\" class=\"formula inline\" source=\"\\hat w = 0.500\" alt=\"\\hat w = 0.500\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/efd\/efd2366b20601400074262e66024e1e7.svg\" width=\"78\" height=\"19\" data-width=\"9.791\" data-height=\"2.4\" data-vertical-align=\"-0.635\" style=\"width: 9.791ex; height: 2.4ex; vertical-align: -0.635ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/efd\/efd2366b20601400074262e66024e1e7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/efd\/efd2366b20601400074262e66024e1e7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u043e\u0442\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat w_{MLE} = 0.4996\" alt=\"\\hat w_{MLE} = 0.4996\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2b\/2b4\/2b4917f0ae182d70f5a137a0d51227ee.svg\" width=\"121\" height=\"19\" data-width=\"15.103\" data-height=\"2.4\" data-vertical-align=\"-0.635\" style=\"width: 15.103ex; height: 2.4ex; vertical-align: -0.635ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2b\/2b4\/2b4917f0ae182d70f5a137a0d51227ee.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2b\/2b4\/2b4917f0ae182d70f5a137a0d51227ee.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u0438 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0442\u0430\u043c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0438 \u0440\u043e\u0441\u0442\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u0434\u0432\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0430.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c Theorem 1 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0435\u0451 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0438, \u0430 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043d\u0430 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u0435 &#8212; \u044d\u0442\u043e \u043f\u0440\u044f\u043c\u043e\u0435 \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u043d\u0435\u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0432\u0435\u0441\u043e\u0432.<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438<\/h4>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0432\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 &#8212; \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 IMLE, \u043a\u043e\u0433\u0434\u0430 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0437\u0430\u0432\u0435\u0434\u043e\u043c\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u0414\u0430\u043d\u043d\u044b\u0435 &#8212; \u0441\u043c\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\tfrac12 \\mathcal N(-2,\\,0.5^2) + \\tfrac12 \\mathcal N(2,\\,0.5^2)\" alt=\"\\tfrac12 \\mathcal N(-2,\\,0.5^2) + \\tfrac12 \\mathcal N(2,\\,0.5^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0c\/a0c3e73f0f97fd98772638f80d191150.svg\" width=\"231\" height=\"22\" data-width=\"28.855\" data-height=\"2.78\" data-vertical-align=\"-0.825\" style=\"width: 28.855ex; height: 2.78ex; vertical-align: -0.825ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0c\/a0c3e73f0f97fd98772638f80d191150.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0c\/a0c3e73f0f97fd98772638f80d191150.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/a97\/2e7\/f64\/a972e7f647d659fde4e9d439aeda65ba.png\" alt=\"\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/\/post_images\/a97\/2e7\/f64\/a972e7f647d659fde4e9d439aeda65ba.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/a97\/2e7\/f64\/a972e7f647d659fde4e9d439aeda65ba.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043b\u0435\u0432\u0430 &#8212; \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440-MLP, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 IMLE, \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u0435 \u043c\u043e\u0434\u044b \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435: <a href=\"https:\/\/en.wikipedia.org\/wiki\/Total_variation_distance_of_probability_measures\" rel=\"noopener nofollow\">TV-\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435<\/a> \u0434\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"0.26 \\pm 0.05\" alt=\"0.26 \\pm 0.05\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab8\/ab8213e6bdd022f3d4594cd3c0868b7f.svg\" width=\"86\" height=\"18\" data-width=\"10.811\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 10.811ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab8\/ab8213e6bdd022f3d4594cd3c0868b7f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab8\/ab8213e6bdd022f3d4594cd3c0868b7f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e \u043f\u044f\u0442\u0438 \u0441\u0438\u0434\u0430\u043c, \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u0438 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 &#8212; \u043f\u0438\u043a\u0438 \u043d\u0438\u0436\u0435, \u0445\u0432\u043e\u0441\u0442\u044b \u0442\u044f\u0436\u0435\u043b\u0435\u0435.<\/p>\n<p>\u0421\u043f\u0440\u0430\u0432\u0430 &#8212; \u0442\u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0438 \u0437\u0430\u0442\u0435\u0432\u0430\u043b\u0441\u044f. \u041e\u0434\u043d\u0430 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u0430 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0439, \u0438 \u0442\u0440\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0435\u0451 \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u0442\u044c \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u043f\u043e\u0441\u043e\u0431<\/p>\n<\/th>\n<th>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg\" width=\"12\" height=\"18\" data-width=\"1.364\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.364ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c9\/c9f\/c9faf6ead2cd2c2187bd943488de1d0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/th>\n<th>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab7d71a0f07f388ff823293c147d21.svg\" width=\"12\" height=\"18\" data-width=\"1.292\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.292ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab7d71a0f07f388ff823293c147d21.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2a\/a2ab7d71a0f07f388ff823293c147d21.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">IMLE<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"-0.21\" alt=\"-0.21\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/eaa\/eaae521384304dcfff87410b95af9003.svg\" width=\"46\" height=\"14\" data-width=\"5.783\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 5.783ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/eaa\/eaae521384304dcfff87410b95af9003.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/eaa\/eaae521384304dcfff87410b95af9003.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"2.67\" alt=\"2.67\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3f4\/3f414920b4430dcb9bacbd135d531910.svg\" width=\"32\" height=\"13\" data-width=\"4.023\" data-height=\"1.579\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.579ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3f4\/3f414920b4430dcb9bacbd135d531910.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3f4\/3f414920b4430dcb9bacbd135d531910.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0430\u0434\u0438\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0430\u043c\u0438, \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0431\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 MLE (\u043f\u0440\u044f\u043c\u0430\u044f KL)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"-0.04\" alt=\"-0.04\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4eb\/4eb9ea46659fbc5b46b9f902cdd383d5.svg\" width=\"46\" height=\"14\" data-width=\"5.783\" data-height=\"1.717\" data-vertical-align=\"-0.186\" style=\"width: 5.783ex; height: 1.717ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4eb\/4eb9ea46659fbc5b46b9f902cdd383d5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4eb\/4eb9ea46659fbc5b46b9f902cdd383d5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"2.06\" alt=\"2.06\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9c\/9c0\/9c08d5d96080edbf4720031f88424dc3.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9c\/9c0\/9c08d5d96080edbf4720031f88424dc3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9c\/9c0\/9c08d5d96080edbf4720031f88424dc3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0443\u0442\u044c \u0443\u0436\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"2.00\" alt=\"2.00\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/77e\/77e23e10fe1b9556624317a002d8b1cc.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/77e\/77e23e10fe1b9556624317a002d8b1cc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/77e\/77e23e10fe1b9556624317a002d8b1cc.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"0.50\" alt=\"0.50\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c60\/c605763284299b9a661ed54430f0f77b.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c60\/c605763284299b9a661ed54430f0f77b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c60\/c605763284299b9a661ed54430f0f77b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0443 \u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u0442\u043e\u0440\u0443\u044e<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043f\u0440\u0430\u0432\u0443\u044e \u043c\u043e\u0434\u0443 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u043d\u0430\u043a\u0430 \u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u043b\u0435\u0432\u0443\u044e &#8212; \u0440\u043e\u0432\u043d\u043e \u0442\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442 \u0441 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u043c\u043e\u0434. IMLE, \u043a\u0430\u043a \u0438 MLE, \u0432\u0441\u0442\u0430\u0451\u0442 \u0432 \u0446\u0435\u043d\u0442\u0440, \u0433\u0434\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435, \u0438 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u043a\u0440\u044b\u0442\u044c \u043e\u0431\u0435 \u043c\u043e\u0434\u044b. \u042d\u0442\u043e \u043f\u043b\u043e\u0445\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f, \u043d\u043e \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f <em>\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0438\u043f\u0430<\/em>: \u043c\u0435\u0442\u043e\u0434 \u043d\u0435 \u00ab\u0447\u0438\u0442\u0435\u0440\u0438\u0442\u00bb \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h4>\u041f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u0434: IMLE \u043f\u0440\u043e\u0442\u0438\u0432 GAN<\/h4>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u0441\u0442 \u043d\u0430 \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434 &#8212; \u0432\u043e\u0441\u0435\u043c\u044c \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d, \u0440\u0430\u0441\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u043e \u043e\u043a\u0440\u0443\u0436\u043d\u043e\u0441\u0442\u0438. \u0421\u0447\u0438\u0442\u0430\u044e \u0442\u0440\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434 \u043f\u043e\u043a\u0440\u044b\u0442\u043e (\u043c\u043e\u0434\u0435 \u0437\u0430\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0445\u043e\u0442\u044f \u0431\u044b 1% \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432), \u0434\u043e\u043b\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 (\u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"3\\sigma\" alt=\"3\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/988\/988daade55fceb42dcf298d8d409f561.svg\" width=\"19\" height=\"18\" data-width=\"2.423\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.423ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/988\/988daade55fceb42dcf298d8d409f561.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/988\/988daade55fceb42dcf298d8d409f561.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442 \u043a\u0430\u043a\u043e\u0433\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u0446\u0435\u043d\u0442\u0440\u0430) \u0438 KL \u043c\u0435\u0436\u0434\u0443 \u0433\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u043e\u0439 \u043c\u043e\u0434 \u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/aa1\/bbf\/3cc\/aa1bbf3cc42372173ffddd543079836e.png\" alt=\"\u041f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u0434: IMLE \u043f\u0440\u043e\u0442\u0438\u0432 GAN\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/\/post_images\/aa1\/bbf\/3cc\/aa1bbf3cc42372173ffddd543079836e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/aa1\/bbf\/3cc\/aa1bbf3cc42372173ffddd543079836e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u0434: IMLE \u043f\u0440\u043e\u0442\u0438\u0432 GAN<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u0432\u043e\u0442 \u0437\u0434\u0435\u0441\u044c \u044f \u043d\u0435 \u043c\u043e\u0433\u0443 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 IMLE, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u043a\u0440\u044b\u0442\u043e \u043c\u043e\u0434 (4 \u0441\u0438\u0434\u0430)<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0414\u043e\u043b\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0434\u043e \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">IMLE, <img decoding=\"async\" class=\"formula inline\" source=\"m = 128\" alt=\"m = 128\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db5\/db5e45592ecdc346c6fdc5c79accaf41.svg\" width=\"67\" height=\"14\" data-width=\"8.397\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 8.397ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db5\/db5e45592ecdc346c6fdc5c79accaf41.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db5\/db5e45592ecdc346c6fdc5c79accaf41.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">8, 8, 8, 8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"0.77\" alt=\"0.77\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/671\/671a647819140975b0649cb3d2f4804a.svg\" width=\"32\" height=\"13\" data-width=\"4.023\" data-height=\"1.579\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.579ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/671\/671a647819140975b0649cb3d2f4804a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/671\/671a647819140975b0649cb3d2f4804a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"0.005\" alt=\"0.005\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f4\/f48\/f4881cfc4c6112c01b7cbb980bf0175c.svg\" width=\"41\" height=\"12\" data-width=\"5.154\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 5.154ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f4\/f48\/f4881cfc4c6112c01b7cbb980bf0175c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f4\/f48\/f4881cfc4c6112c01b7cbb980bf0175c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GAN, lr <img decoding=\"async\" class=\"formula inline\" source=\"= 2\\cdot10^{-4}\" alt=\"= 2\\cdot10^{-4}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/625\/625d6597b572a7fcd9e15184cd5320fb.svg\" width=\"77\" height=\"21\" data-width=\"9.649\" data-height=\"2.583\" data-vertical-align=\"-0.726\" style=\"width: 9.649ex; height: 2.583ex; vertical-align: -0.726ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/625\/625d6597b572a7fcd9e15184cd5320fb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/625\/625d6597b572a7fcd9e15184cd5320fb.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">8, 8, 8, 8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"0.93\" alt=\"0.93\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/27\/277\/2770d3b6d4ecfbbbb0c5d7809d12b089.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/27\/277\/2770d3b6d4ecfbbbb0c5d7809d12b089.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/27\/277\/2770d3b6d4ecfbbbb0c5d7809d12b089.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"0.003\" alt=\"0.003\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/50a\/50a0f3f37dd7e3799f7ef18846ee1587.svg\" width=\"41\" height=\"12\" data-width=\"5.154\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 5.154ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/50a\/50a0f3f37dd7e3799f7ef18846ee1587.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/50a\/50a0f3f37dd7e3799f7ef18846ee1587.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GAN, lr <img decoding=\"async\" class=\"formula inline\" source=\"= 10^{-3}\" alt=\"= 10^{-3}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f55\/f55d9db855a51b453ff23dff887ab4b3.svg\" width=\"55\" height=\"17\" data-width=\"6.883\" data-height=\"2.184\" data-vertical-align=\"-0.186\" style=\"width: 6.883ex; height: 2.184ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f55\/f55d9db855a51b453ff23dff887ab4b3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f5\/f55\/f55d9db855a51b453ff23dff887ab4b3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">6, 5, 7, 7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"0.16\" alt=\"0.16\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b08\/b0888d686e89bf883fe90b85c9220b47.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b08\/b0888d686e89bf883fe90b85c9220b47.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b08\/b0888d686e89bf883fe90b85c9220b47.svg 781w\" loading=\"lazy\" decode=\"async\"\/>&#8212;<img decoding=\"async\" class=\"formula inline\" source=\"0.90\" alt=\"0.90\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/691\/6915b64720078d86269f8574ab84559b.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/691\/6915b64720078d86269f8574ab84559b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/691\/6915b64720078d86269f8574ab84559b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"0.13\" alt=\"0.13\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/679\/679f47e946645e35bc0d606f07a1217e.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/679\/679f47e946645e35bc0d606f07a1217e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/679\/679f47e946645e35bc0d606f07a1217e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>&#8212;<img decoding=\"async\" class=\"formula inline\" source=\"0.94\" alt=\"0.94\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/142\/1421ba6605a25d36dbfdbcff8071f788.svg\" width=\"32\" height=\"13\" data-width=\"4.023\" data-height=\"1.581\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.581ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/142\/1421ba6605a25d36dbfdbcff8071f788.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/142\/1421ba6605a25d36dbfdbcff8071f788.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0438 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c learning rate \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u0439 GAN \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0432\u043e\u0441\u0435\u043c\u044c \u043c\u043e\u0434 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u0438\u0434\u0430\u0445, \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0447\u0438\u0449\u0435 IMLE: 93% \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434 \u043f\u0440\u043e\u0442\u0438\u0432 77%. \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u0438\u0434\u043d\u0430 \u0438 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 &#8212; \u0443 IMLE \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0430\u043c\u0438 \u0431\u043e\u043b\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0449\u0443\u0442\u0438\u043c\u044b\u0439 \u0448\u043b\u0435\u0439\u0444, \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u0442\u043e\u0433\u043e \u0441\u0430\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0427\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442 IMLE &#8212; \u044d\u0442\u043e \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c. \u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u0434\u043d\u044f\u0442\u044c learning rate \u0434\u043e <img decoding=\"async\" class=\"formula inline\" source=\"10^{-3}\" alt=\"10^{-3}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/599\/599ba39d43ef5e5056aa8b82d12608b2.svg\" width=\"36\" height=\"16\" data-width=\"4.495\" data-height=\"2.048\" data-vertical-align=\"-0.05\" style=\"width: 4.495ex; height: 2.048ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/599\/599ba39d43ef5e5056aa8b82d12608b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/599\/599ba39d43ef5e5056aa8b82d12608b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 GAN \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0442\u0435\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u044b: 5-7 \u0438\u0437 8 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0441\u0438\u0434\u0430, \u0430 \u043d\u0430 \u0445\u0443\u0434\u0448\u0435\u043c \u0441\u0438\u0434\u0435 \u0432\u0434\u043e\u0431\u0430\u0432\u043e\u043a \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e (16% \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432). \u0423 IMLE \u0432\u0441\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0432\u044b\u0434\u0430\u044e\u0442 \u0440\u043e\u0432\u043d\u043e 8\/8 \u043f\u0440\u0438 \u043b\u044e\u0431\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b, \u0438 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u0441\u0438\u0434\u0430\u043c\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0439.<\/p>\n<p>\u0427\u0435\u0441\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u0432\u044b\u0432\u043e\u0434\u0430 \u0437\u0432\u0443\u0447\u0438\u0442 \u0442\u0430\u043a: \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c 2D-\u043f\u0440\u0438\u043c\u0435\u0440\u0435 IMLE \u043d\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 GAN \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443, \u043d\u043e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u0434 \u0443 \u043d\u0435\u0433\u043e \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043d\u0438 \u043e\u0442 \u0441\u0438\u0434\u0430, \u043d\u0438 \u043e\u0442 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0443 GAN \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0438 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0438 \u043e\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e. \u042d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u043e\u0431\u0435\u0449\u0430\u0435\u0442 \u0442\u0435\u043e\u0440\u0438\u044f &#8212; \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u00ab\u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e\u00bb, \u0430 \u043d\u0435 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0444\u043e\u0442\u043e\u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<h4>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435<\/h4>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u0435\u0442\u043e\u0434 \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u0445, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0440\u0430\u0437\u0443\u043c\u043d\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0451 \u0435\u0449\u0451 \u043b\u0435\u0433\u043a\u043e \u0440\u0430\u0437\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0433\u043b\u0430\u0437\u0430\u043c\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/ca5\/107\/c9f\/ca5107c9f85b054e06bc373b79ae81e7.png\" alt=\"\u0421\u043b\u043e\u0436\u043d\u044b\u0435 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/\/post_images\/ca5\/107\/c9f\/ca5107c9f85b054e06bc373b79ae81e7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/ca5\/107\/c9f\/ca5107c9f85b054e06bc373b79ae81e7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043b\u043e\u0436\u043d\u044b\u0435 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043f\u0438\u0440\u0430\u043b\u044c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u043e &#8212; \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u0432\u0438\u0442 \u0438 \u0437\u0430\u043a\u0440\u0443\u0442\u043a\u0443, \u0438 \u0441\u0443\u0436\u0435\u043d\u0438\u0435 \u043a \u0446\u0435\u043d\u0442\u0440\u0443. Two moons \u0442\u043e\u0436\u0435 \u0443\u0437\u043d\u0430\u0432\u0430\u0435\u043c\u044b, \u0445\u043e\u0442\u044f \u043c\u0435\u0436\u0434\u0443 \u0434\u0443\u0433\u0430\u043c\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u043d\u044f\u044f \u043f\u0435\u0440\u0435\u043c\u044b\u0447\u043a\u0430. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0441\u044f\u043c \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432: moons <img decoding=\"async\" class=\"formula inline\" source=\"1.25\/1.17\" alt=\"1.25\/1.17\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5b\/5b4\/5b4ed4da6beb6cc3d95a9f04bcec843b.svg\" width=\"73\" height=\"18\" data-width=\"9.176\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.176ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5b\/5b4\/5b4ed4da6beb6cc3d95a9f04bcec843b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5b\/5b4\/5b4ed4da6beb6cc3d95a9f04bcec843b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u043e\u0442\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"1.20\/1.20\" alt=\"1.20\/1.20\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fc\/5fc12c154439f713eefefb757f677823.svg\" width=\"73\" height=\"18\" data-width=\"9.176\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.176ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fc\/5fc12c154439f713eefefb757f677823.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fc\/5fc12c154439f713eefefb757f677823.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0441\u043f\u0438\u0440\u0430\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"1.21\/0.99\" alt=\"1.21\/0.99\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1fc\/1fcaaab912dc7222bf26fbf25ead7808.svg\" width=\"73\" height=\"18\" data-width=\"9.176\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.176ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1fc\/1fcaaab912dc7222bf26fbf25ead7808.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1fc\/1fcaaab912dc7222bf26fbf25ead7808.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u043e\u0442\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"1.19\/0.96\" alt=\"1.19\/0.96\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ed\/ed4\/ed4e9f2bd88db2ae2779945a0fd0ce08.svg\" width=\"73\" height=\"18\" data-width=\"9.176\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.176ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ed\/ed4\/ed4e9f2bd88db2ae2779945a0fd0ce08.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ed\/ed4\/ed4e9f2bd88db2ae2779945a0fd0ce08.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0448\u0430\u0445\u043c\u0430\u0442\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"1.14\/1.12\" alt=\"1.14\/1.12\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/828\/828190f54ea0a703862a8d479f265cbd.svg\" width=\"73\" height=\"18\" data-width=\"9.176\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.176ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/828\/828190f54ea0a703862a8d479f265cbd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/828\/828190f54ea0a703862a8d479f265cbd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u043e\u0442\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"1.16\/1.16\" alt=\"1.16\/1.16\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec9\/ec9c1fe350c08aff4458ad6f1d117692.svg\" width=\"73\" height=\"18\" data-width=\"9.176\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.176ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec9\/ec9c1fe350c08aff4458ad6f1d117692.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec9\/ec9c1fe350c08aff4458ad6f1d117692.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 &#8212; \u0448\u0430\u0445\u043c\u0430\u0442\u043a\u0430. \u041d\u043e\u0441\u0438\u0442\u0435\u043b\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u043f\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u043e\u0441\u0435\u043c\u044c \u043d\u0435\u0441\u0432\u044f\u0437\u043d\u044b\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432, \u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0438\u0437 \u0441\u0432\u044f\u0437\u043d\u043e\u0433\u043e \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0448\u0443\u043c\u0430 \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0442\u044c \u043d\u0435\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 &#8212; \u0433\u0434\u0435-\u0442\u043e \u0435\u043c\u0443 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u0440\u043e\u0442\u044f\u043d\u0443\u0442\u044c \u00ab\u043c\u043e\u0441\u0442\u00bb. \u0412\u0438\u0434\u043d\u043e, \u043a\u0430\u043a IMLE \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u044d\u0442\u0438 \u043c\u043e\u0441\u0442\u044b: \u043a\u043b\u0435\u0442\u043a\u0438 \u0443\u0437\u043d\u0430\u044e\u0442\u0441\u044f, \u043d\u043e \u043f\u0443\u0441\u0442\u044b\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u044b. \u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043f\u043e\u0436\u0435\u0440\u0442\u0432\u043e\u0432\u0430\u043b\u0430 \u0447\u0430\u0441\u0442\u044c\u044e \u043a\u043b\u0435\u0442\u043e\u043a \u0440\u0430\u0434\u0438 \u0447\u0438\u0441\u0442\u043e\u0442\u044b \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 &#8212; \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0437\u043c\u0430\u0437\u0430\u043b\u0430 \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u043e \u0432\u0441\u0435\u043c. \u042d\u0442\u043e \u043e\u043f\u044f\u0442\u044c \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u044f\u043c\u043e\u0439 KL, \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0432 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0435.<\/p>\n<h4>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u044d\u043c\u043f\u043b\u043e\u0432<\/h4>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u044e\u0436\u0435\u0442 &#8212; \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u044d\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u043a\u0430\u043a \u00ab\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u0435\u043b\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u043a\u0443 \u0448\u0443\u043c\u043d\u043e\u0439\u00bb, \u043d\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044f\u044f.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/05e\/78e\/2fb\/05e78e2fbc7cb9dc385d2bcbc43c398c.png\" alt=\"\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0441\u044d\u043c\u043f\u043b\u043e\u0432\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/\/post_images\/05e\/78e\/2fb\/05e78e2fbc7cb9dc385d2bcbc43c398c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/\/post_images\/05e\/78e\/2fb\/05e78e2fbc7cb9dc385d2bcbc43c398c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0441\u044d\u043c\u043f\u043b\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u0432 1D (\u043f\u043e TV-\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e), \u0438 \u0432 2D (\u043f\u043e \u0434\u043e\u043b\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432) \u043a\u0440\u0438\u0432\u0430\u044f \u0438\u043c\u0435\u0435\u0442 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0443\u043c: <img decoding=\"async\" class=\"formula inline\" source=\"m \\approx 16\" alt=\"m \\approx 16\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/65a\/65a19d24355984bdcaa150a4c5f81004.svg\" width=\"58\" height=\"18\" data-width=\"7.266\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.266ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/65a\/65a19d24355984bdcaa150a4c5f81004.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/65a\/65a19d24355984bdcaa150a4c5f81004.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0441\u043c\u0435\u0441\u0438 \u0434\u0432\u0443\u0445 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d \u043d\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"m \\approx 64\" alt=\"m \\approx 64\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/07\/072\/072564a6bd680c7d2c6f868c95496c3a.svg\" width=\"58\" height=\"18\" data-width=\"7.266\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.266ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/07\/072\/072564a6bd680c7d2c6f868c95496c3a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/07\/072\/072564a6bd680c7d2c6f868c95496c3a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0432\u043e\u0441\u044c\u043c\u0438 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438. \u0421\u043b\u0435\u0432\u0430 \u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430 \u0432\u0441\u0451 \u043a\u0430\u043a \u0432 \u0441\u0442\u0430\u0442\u044c\u0435: \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u043c\u0430\u043b\u043e, \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d, \u0447\u0430\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0434\u0430\u043b\u0451\u043a\u0438\u043c\u0438 \u0441\u044d\u043c\u043f\u043b\u0430\u043c\u0438, \u043e\u0446\u0435\u043d\u043a\u0430 \u0448\u0443\u043c\u043d\u0430\u044f. \u0421\u043f\u0440\u0430\u0432\u0430 &#8212; \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b: \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u0430 \u0435\u0441\u0442\u044c, \u0433\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0437\u0430\u0437\u043e\u0440 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u043c\u0438 \u0441\u044d\u043c\u043f\u043b\u0430\u043c\u0438, \u0438 \u043a\u043e\u0433\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u0435\u043b\u0438\u043a\u043e, \u0437\u0430\u0437\u043e\u0440\u044b \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u044e\u0442\u0441\u044f, \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u0441\u043e\u0441\u0435\u0434 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c \u0441 \u043b\u044e\u0431\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438 \u043f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445, \u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e \u0443\u043f\u043b\u043e\u0449\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u043f\u0430\u043d\u0435\u043b\u0438 (a) \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430.<\/p>\n<p>\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u044d\u0442\u043e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043d\u0438\u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c. \u0412 \u043f\u0438\u043a\u0441\u0435\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u0441\u044d\u043c\u043f\u043b\u044b \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043b\u0435\u043a\u043e \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430, \u0438 \u0432\u0435\u0440\u0445\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f &#8212; \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043d\u0430 \u0438 \u043d\u0435 \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f. \u0410 \u0432\u043e\u0442 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u044b\u043c \u0432\u044b\u0445\u043e\u0434\u043e\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0432 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438) \u043f\u0440\u043e \u043d\u0435\u0451 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c: <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u044d\u0442\u043e \u043d\u0435 \u00ab\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435\u00bb, \u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n<h4>\u0427\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c<\/h4>\n<p>\u041f\u0430\u0440\u0430 \u0432\u0435\u0449\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b, \u043d\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u043a\u0430\u0440\u0442\u0438\u043d\u044b.<\/p>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c.<\/strong> \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e &#8212; \u043f\u043e\u0438\u0441\u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438: \u0432 \u043b\u043e\u0431 \u044d\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"O(nm)\" alt=\"O(nm)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f16\/f168ecb8ea82616ea66627b6dcc574fc.svg\" width=\"55\" height=\"18\" data-width=\"6.83\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.83ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f16\/f168ecb8ea82616ea66627b6dcc574fc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f16\/f168ecb8ea82616ea66627b6dcc574fc.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u043e\u0438\u0441\u043a\u0430 (\u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0441\u0432\u043e\u0438 \u0436\u0435 Dynamic Continuous Indexing \u0438 Prioritized DCI). \u041d\u0430 \u043c\u043e\u0438\u0445 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u044d\u0442\u043e \u043d\u0435\u0432\u0430\u0436\u043d\u043e, \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 &#8212; \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0439 \u0444\u0430\u043a\u0442\u043e\u0440.<\/p>\n<p><strong>\u0412\u044b\u0431\u043e\u0440 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/strong> \u041e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432 \u00ab\u0441\u044b\u0440\u043e\u043c\u00bb \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0443. \u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 (\u0430\u043d\u0430\u043b\u043e\u0433 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0438\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c (perceptual loss)) \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0439, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u0443 \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u0438, \u043d\u043e \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b pixel-space \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c.<\/p>\n<p>\u0427\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0430\u043c\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438: \u0430\u0432\u0442\u043e\u0440\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0435\/\u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u043d\u0430 MNIST, Toronto Faces Dataset \u0438 CIFAR-10 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0438 \u043e\u0446\u0435\u043d\u0451\u043d\u043d\u044b\u0439 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (\u0447\u0435\u0440\u0435\u0437 \u043e\u0446\u0435\u043d\u043a\u0443 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043e\u043a\u043e\u043d \u041f\u0430\u0440\u0437\u0435\u043d\u0430) \u0441 DBN, GAN \u0438 GMMN. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u043e\u0446\u0435\u043d\u0451\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043e\u043a\u043e\u043d \u041f\u0430\u0440\u0437\u0435\u043d\u0430, &#8212; \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u044d\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044e\u0442, \u043d\u043e \u043e\u0431\u0449\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 &#8212; \u0447\u0442\u043e IMLE \u043d\u0435 \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u043e\u0439 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u043c\u043e\u0434 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u044d\u043c\u043f\u043b\u044b \u0431\u0435\u0437 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430 \u0432\u043e\u043e\u0431\u0449\u0435.<\/p>\n<p><strong><em>\u041b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0439 \u0444\u0430\u043a\u0442<\/em><\/strong>: \u0441\u0442\u0430\u0442\u044c\u044f \u0431\u044b\u043b\u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0430 \u043d\u0430 NeurIPS 2018, \u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0440\u0435\u0432\u044c\u044e, \u0440\u0435\u0431\u0430\u0442\u0442\u043b \u0438 \u043c\u0435\u0442\u0430-\u0440\u0435\u0432\u044c\u044e \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f &#8212; \u0436\u0435\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0434\u0438\u0441\u043a\u0443\u0441\u0441\u0438\u0439 \u043e \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432 ML.<\/p>\n<h3>\u0412\u043b\u0438\u044f\u043d\u0438\u0435 \u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435<\/h3>\n<p>IMLE \u043d\u0435 \u0441\u0442\u0430\u043b\u0430 \u043c\u0435\u0439\u043d\u0441\u0442\u0440\u0438\u043c\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043d\u0430 \u0444\u043e\u043d\u0435 GAN \u0438, \u043f\u043e\u0437\u0436\u0435, \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041d\u043e \u0443 \u043d\u0435\u0451 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0441\u0432\u043e\u044f \u043d\u0438\u0448\u0430, \u0438 \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0438\u0434\u0435\u0438, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0441\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0435 \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0430 \u0432 \u0440\u043e\u0431\u043e\u0442\u043e\u0442\u0435\u0445\u043d\u0438\u043a\u0435.<\/p>\n<p><a href=\"https:\/\/imle-policy.github.io\/\" rel=\"noopener nofollow\"><strong>IMLE Policy<\/strong><\/a> (Rana, Lee, Pershouse, S\u00fcnderhauf, RSS 2025) &#8212; \u044d\u0442\u043e behaviour cloning \u043d\u0430 \u0431\u0430\u0437\u0435 IMLE, \u0438 \u0432 \u043d\u0435\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0432 \u0441\u0432\u043e\u044e \u043d\u0438\u0448\u0443. \u0417\u0430\u0434\u0430\u0447\u0430 \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0442\u0430\u043a, \u0447\u0442\u043e \u0432\u0441\u0435 \u0442\u0440\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 IMLE \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u043e\u043c, \u0430 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u043c:<\/p>\n<ul>\n<li>\n<p><strong>\u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u043e\u0434 \u0432\u0430\u0436\u043d\u0430.<\/strong> \u041e\u0431\u044a\u0435\u0445\u0430\u0442\u044c \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043b\u0435\u0432\u0430 \u0438\u043b\u0438 \u0441\u043f\u0440\u0430\u0432\u0430 &#8212; \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430, \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0449\u0430\u044f \u044d\u0442\u0438 \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430, \u043f\u043e\u0435\u0434\u0435\u0442 \u043f\u0440\u044f\u043c\u043e \u0432 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0435, \u0447\u0442\u043e \u043d\u0435\u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e. \u0413\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u043c\u043e\u0434 \u0437\u0434\u0435\u0441\u044c \u044d\u0442\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043a \u0440\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u043b\u043e \u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e.<\/strong> \u0414\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u043e\u0438\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e IMLE Policy \u043d\u0443\u0436\u043d\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 38% \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0442\u044f\u043d\u0443\u0442\u044c\u0441\u044f \u0434\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u0432 \u043d\u0430 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0430 \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u0441 17 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u044b\u0441\u0442\u0440\u044b\u0439 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441.<\/strong> <a href=\"https:\/\/diffusion-policy.cs.columbia.edu\/\" rel=\"noopener nofollow\">Diffusion Policy<\/a> \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0448\u0443\u043c\u043b\u0435\u043d\u0438\u044f (\u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0435\u0447\u043d\u043e Flow Matching \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0432\u044b\u043f\u0440\u044f\u043c\u043b\u044f\u0442\u044c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u043d\u043e \u0432\u0441\u0435 \u0435\u0449\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e) \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0443 IMLE \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f &#8212; \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c: \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0441 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u0435\u043c (<a href=\"https:\/\/plcrodrigues.github.io\/posts\/rejection-sampling\/\" rel=\"noopener nofollow\">rejection sampling<\/a>) (\u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b1c5a729a09649c275fca88976d8dd.svg\" width=\"12\" height=\"18\" data-width=\"1.054\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.054ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b1c5a729a09649c275fca88976d8dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b1c5a729a09649c275fca88976d8dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f), \u0430 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 &#8212; \u0432\u044b\u0431\u043e\u0440 \u043c\u043e\u0434\u044b \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0438\u0441\u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430 \u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. \u0412\u0442\u043e\u0440\u043e\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 IMLE \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442: \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438 \u0432\u0441\u0435 \u043e\u043d\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435, \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0445 \u043f\u043e\u043a\u0440\u044b\u0442\u044c, \u043d\u043e \u0438 \u043d\u0435 \u043c\u0435\u0442\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043e\u0442 \u0448\u0430\u0433\u0430 \u043a \u0448\u0430\u0433\u0443.<\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u0443 \u043c\u0435\u0442\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u043b\u0438\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442 \u0442\u043e\u0433\u043e \u0436\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432\u0430 \u0432 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: <strong>Conditional IMLE<\/strong> \u0438 \u0441\u0443\u043f\u0435\u0440-\u0440\u0435\u0437\u043e\u043b\u044e\u0446\u0438\u044f \u043d\u0430 \u0435\u0451 \u043e\u0441\u043d\u043e\u0432\u0435 (2018), \u0433\u0434\u0435 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0432\u0440\u043e\u0434\u0435 \u00ab\u0432\u044b\u0434\u0443\u043c\u0430\u043d\u043d\u044b\u0445\u00bb \u0446\u0432\u0435\u0442\u043e\u0432 \u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0433\u043e \u0448\u0443\u043c\u0430, \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u044b\u0435 \u0434\u043b\u044f GAN-based SRGAN, \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u044b \u0441\u043b\u0430\u0431\u0435\u0435 &#8212; \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0435\u0442 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043c\u0430\u043d\u0443\u0442\u044c \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0448\u0443\u043c\u043e\u043c; \u0438 <strong>Multimodal Image Synthesis with Conditional IMLE<\/strong> (2020), \u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u0449\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041e\u0431\u0449\u0430\u044f \u043c\u043e\u0440\u0430\u043b\u044c, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0442\u0430\u043a\u0430\u044f. IMLE \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 2018 \u0433\u043e\u0434\u0430 (\u043c\u043e\u0438 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u044d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442: \u043f\u043e \u0447\u0438\u0441\u0442\u043e\u0442\u0435 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 GAN \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442), \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c\u043e\u0439 \u0438\u0434\u0435\u0435\u0439 &#8212; \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\/\u043f\u043e\u043b\u043d\u043e\u0442\u0430 (precision\/recall) \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u0438 \u043c\u043e\u0434 \u00ab\u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e\u00bb \u0438 \u043e\u0442\u043a\u0430\u0437 \u043e\u0442 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u0430\u0440. \u0418 IMLE Policy \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0433\u0434\u0435 \u044d\u0442\u0430 \u0440\u0430\u043c\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0443\u043f\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043c, \u0433\u0434\u0435 \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u0434, \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u044b, \u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u043c.<\/p>\n<p>\u041a\u043e\u0434 \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 <a href=\"https:\/\/github.com\/mmkuznecov\/imle_blog\" rel=\"noopener nofollow\">\u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435<\/a>. \u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u043d\u0438\u043f\u043f\u0435\u0442\u044b \u0432 \u043c\u043e\u0435\u043c <a href=\"https:\/\/mmkuznecov.github.io\/posts\/implicit-maximum-likelihood-estimation\/\" rel=\"noopener nofollow\">\u0431\u043b\u043e\u0436\u0438\u043a\u0435<\/a>.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1076488\/\">https:\/\/habr.com\/ru\/articles\/1076488\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e Implicit Maximum Likelihood Estimation: \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0438\u0434\u0435\u044e, \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b.\u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u0438 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c. \u041d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f, \u0433\u0434\u0435 \u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e MLE \u0438 MAP, \u0437\u0434\u0435\u0441\u044c \u0436\u0435 &#8212; \u0431\u044b\u0441\u0442\u0440\u043e\u0435 \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435.\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439  \u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 , \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0438\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e . \u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u043e , \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b:\u041d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041d\u0438\u0436\u0435 &#8212; \u0442\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u043f\u043e\u043b\u043d\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c.\u0413\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u0430 \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439. \u041f\u0443\u0441\u0442\u044c  \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e  (\u0441\u0447\u0438\u0442\u0430\u0435\u043c  \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439). \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f:\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043e\u0442  \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0442\u043e\u0440\u043e\u0435:\u041f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e:\u0412\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e  \u0440\u0430\u0432\u043d\u0430 , \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430 &#8212; \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c, \u0430 \u043d\u0435 \u0441\u0435\u0434\u043b\u043e\u0432\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u0438\u043b\u0438 \u043c\u0438\u043d\u0438\u043c\u0443\u043c. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435.\u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438. \u041f\u0443\u0441\u0442\u044c  \u0438 . \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u043e \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435:\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c  &#8212; \u0447\u0438\u0441\u043b\u043e \u201c\u0443\u0441\u043f\u0435\u0445\u043e\u0432\u201d \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u0422\u043e\u0433\u0434\u0430 . \u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u043f\u043e :\u041f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e \u0438 \u0440\u0435\u0448\u0430\u0435\u043c:\u043e\u0442\u043a\u0443\u0434\u0430  &#8212; \u0434\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u043a\u0430\u043a \u0438 \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c.\u042d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u041f\u0443\u0441\u0442\u044c  \u0438 . \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f: \u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u043f\u043e :\u041f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e:\u0412\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f  \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c.\u0412\u043e \u0432\u0441\u0435\u0445 \u0442\u0440\u0451\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u044b \u044f\u0432\u043d\u043e \u0437\u043d\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0443 \u0438 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0442\u044c \u0435\u0451 \u043a \u043d\u0443\u043b\u044e &#8212; \u0440\u0443\u0442\u0438\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0440\u0435\u0448\u0430\u0435\u043c\u0430\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438.\u041c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043c, \u0433\u0434\u0435 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u044f\u0432\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c . \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e \u0434\u043b\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u0440\u043e\u0434\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 &#8212; \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0438 \u0441 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0435 \u043e \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 (manifold hypothesis), \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0447\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0447\u0435\u0440\u0435\u0437 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u0430 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:\u0432\u0437\u044f\u0442\u044c \u0448\u0443\u043c ;\u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435  (\u043e\u0431\u044b\u0447\u043d\u043e &#8212; \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c).\u0422\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 implicit (\u043d\u0435\u044f\u0432\u043d\u044b\u043c\u0438) &#8212; \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 prescribed (\u044f\u0432\u043d\u044b\u0445) \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0440\u043e\u0434\u0435 \u0441\u043c\u0435\u0441\u0438 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d \u0438\u043b\u0438 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0433\u0434\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u0423 \u043d\u0435\u044f\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u043d\u043e \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u0430 \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c\u0430 \u043d\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043d\u0438 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435\u043b\u044c\u0437\u044f &#8212; \u043d\u0443\u0436\u0435\u043d \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u0435\u0437 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0438 GAN \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0430 \u043d\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u0423 IMLE \u0434\u0440\u0443\u0433\u0430\u044f \u0438\u0434\u0435\u044f: \u043e\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e, \u043d\u0438 \u0440\u0430\u0437\u0443 \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f \u0441\u0430\u043c\u0443 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u044f\u0432\u043d\u043e.\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0442\u0430\u043a\u0430\u044f. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u0442\u043e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c  \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430. \u0410 \u0440\u0430\u0437 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043c \u0432\u044b\u0441\u043e\u043a\u0430\u044f, \u0442\u043e \u0435\u0441\u043b\u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u044d\u043c\u043f\u043b\u044b \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c \u0441 \u044d\u0442\u0438\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438. \u0417\u043d\u0430\u0447\u0438\u0442, \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u044f\u0432\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u043a \u043d\u0435\u043c\u0443 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u044d\u043c\u043f\u043b\u0430 &#8212; \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435.\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438  &#8212; \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0441\u044d\u043c\u043f\u043b\u044b \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u0438 \u043e\u0446\u0435\u043d\u043a\u0430 IMLE &#8212; \u044d\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435:\u0417\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u0430 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 GAN. \u0412 \u0441\u0432\u044f\u0437\u043a\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440-\u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440, \u0433\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0443 \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u044d\u043c\u043f\u043b \u0431\u044b\u043b \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 &#8212; \u043e\u0442\u0441\u044e\u0434\u0430 \u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u043e\u0441\u0442\u044c GAN \u043a \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u043d\u0438\u044e \u043c\u043e\u0434 (mode collapse). \u0412 IMLE \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443: \u043d\u0435 \u0441\u044d\u043c\u043f\u043b \u0438\u0449\u0435\u0442 \u0441\u0435\u0431\u0435 \u043f\u0430\u0440\u0443 \u0441\u0440\u0435\u0434\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0449\u0435\u0442 \u0441\u0435\u0431\u0435 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u0441\u044d\u043c\u043f\u043b. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439, \u0430 \u043f\u0440\u044f\u043c\u043e\u0439 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 &#8212; , \u0442\u043e\u0439 \u0441\u0430\u043c\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 MLE. \u0415\u0441\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u00ab\u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u044b\u043c\u00bb \u0441\u044d\u043c\u043f\u043b\u0430\u043c\u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0432 \u0441\u0443\u043c\u043c\u0435 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043c, \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u0434\u0442\u044f\u043d\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u044d\u0442\u0443 \u043e\u0431\u043b\u0430\u0441\u0442\u044c. \u042d\u0442\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u043d\u0435 \u0434\u0430\u0451\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043e\u043b\u0436\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0442\u044c \u0440\u0438\u0441\u043a \u043f\u043e\u0442\u0435\u0440\u0438 \u043c\u043e\u0434.\u0427\u0435\u043c IMLE \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432\u041a\u043e\u0440\u043e\u0442\u043a\u043e \u043e \u0442\u043e\u043c, \u0433\u0434\u0435 IMLE \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0440\u0451\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435\u044f\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.GAN \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0447\u0435\u0440\u0435\u0437 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u0433\u0440\u0443: \u0432 \u0438\u0434\u0435\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u0435\u043d \u0438 \u0438\u043c\u0435\u0435\u0442 \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u0439 GAN \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 \u0419\u0435\u043d\u0441\u0435\u043d\u0430-\u0428\u0435\u043d\u043d\u043e\u043d\u0430 (Goodfellow et al., 2014), \u0430 f-GAN \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442 \u044d\u0442\u0443 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e \u043d\u0430 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 f-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0439. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0442\u043e\u0447\u043d\u044b\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440 &#8212; \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0451\u043c\u043a\u043e\u0441\u0442\u0438. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 GAN \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e-\u043d\u0435\u0432\u043e\u0433\u043d\u0443\u0442\u0443\u044e minimax-\u0437\u0430\u0434\u0430\u0447\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u0430\u044f \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043a \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u044e; \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 GAN-\u0438\u0433\u0440\u0430\u0445 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u0435 \u041d\u044d\u0448\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c (Farnia &amp; Ozdaglar, 2020). \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043a\u0430\u043a \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434, \u0441\u043b\u0430\u0431\u044b\u0439 \u0438\u043b\u0438 \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043f\u0440\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u0445 (Arjovsky &amp; Bottou, 2017) \u0438 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (Mescheder et al., 2018); \u0432\u043f\u0440\u043e\u0447\u0435\u043c, \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 R3GAN, \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u043b\u0438\u0441\u044c \u0432 \u0438\u0445 \u0443\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0438.IMLE \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c &#8212; \u043e\u0442\u043a\u0430\u0437\u043e\u043c \u043e\u0442 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041f\u043e\u0442\u0435\u0440\u044f \u043c\u043e\u0434 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a \u0441\u044d\u043c\u043f\u043b\u0430\u043c \u0438 \u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0441\u0440\u0430\u0437\u0443 \u0434\u0430\u0451\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435. \u0417\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442  \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u0442\u043e\u0447\u0435\u043a, \u0442\u043e \u0435\u0441\u0442\u044c \u0447\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0438\u0433\u043d\u0430\u043b &#8212; \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430 \u043f\u0440\u0438 \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044f\u0445. \u041d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0435\u0442 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u044f &#8212; \u0435\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (\u043f\u0443\u0441\u0442\u044c \u0438 \u043d\u0435\u0433\u043b\u0430\u0434\u043a\u043e\u0439 \u0438\u0437-\u0437\u0430  \u0432 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438).GMMN &#8212; \u0442\u043e\u0436\u0435 \u0431\u0435\u0437\u0430\u0434\u0432\u0435\u0440\u0441\u0430\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043d\u0435 f-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e, \u0430 maximum mean discrepancy (MMD): \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0441\u0440\u0435\u0434\u043d\u0438\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c RKHS. \u041f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u0435\u043c \u0438\u0433\u0440\u044b \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442, \u043d\u043e \u0443 MMD \u043d\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435\u043c \u0438 \u043d\u0435\u0442 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u043c\u043e\u0434; \u043f\u043b\u044e\u0441 \u043e\u0446\u0435\u043d\u043a\u0430 MMD \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0431\u0430\u0442\u0447\u0435\u0439 &#8212; \u0442\u043e\u0442 \u0436\u0435 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u00ab\u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u0430\u00bb, \u0447\u0442\u043e \u0438 \u0443 IMLE \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u0441\u044d\u043c\u043f\u043b\u043e\u0432 .VAE \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043d\u0435 \u0441\u0430\u043c\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u0430 \u0435\u0433\u043e \u043d\u0438\u0436\u043d\u044e\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 (ELBO), \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u0440\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0442\u0440\u044e\u043a. \u0427\u0442\u043e\u0431\u044b \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435\u0439, VAE \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0451\u0442 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0441 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 &#8212; \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0440\u044b\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u0446\u0435\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u044b\u0442\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432. \u0423 IMLE \u043f\u0443\u0442\u044c \u043f\u0440\u044f\u043c\u0435\u0435: \u043d\u0438 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430, \u043d\u0438 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u0437\u043e\u0440\u0430, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043a \u0434\u0430\u043d\u043d\u044b\u043c \u0441\u044d\u043c\u043f\u043b\u044b.\u041f\u0440\u044f\u043c\u0430\u044f \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL. \u042d\u0442\u0438 \u0434\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0432\u0435\u0441\u0442\u0438 \u044f\u0432\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435.\u041f\u0440\u044f\u043c\u0430\u044f KL, , \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 MLE. \u041e\u043d\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u0443\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0434 , \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0438\u043b\u044c\u043d\u043e \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u044b\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0451\u043c\u043a\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e\u043c\u0443 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u044e \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0432\u0441\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u0430\u0441\u0441\u0443: \u0435\u0441\u043b\u0438 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438\u0437 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u043d\u0435\u043b\u044c\u0437\u044f \u0442\u043e\u0447\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0441\u0435 \u043c\u043e\u0434\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043b\u043e\u043d\u043d\u0430 \u0440\u0430\u0441\u0442\u044f\u043d\u0443\u0442\u044c\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0440\u044b\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434 \u0441\u0440\u0430\u0437\u0443, \u0434\u0430\u0436\u0435 \u0446\u0435\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043c\u0430\u0441\u0441\u044b \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438.\u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL, , \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0441\u0438\u043b\u044c\u043d\u043e \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u043b\u0430, \u043d\u043e \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0437\u0430 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u0441\u0432\u043e\u0438\u043b\u0430 \u043d\u0443\u043b\u0435\u0432\u0443\u044e \u043c\u0430\u0441\u0441\u0443. \u041f\u0440\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0449\u0435\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0435 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e\u043c\u0443 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u044e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u044b: \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0443 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u0443\u044e \u043c\u043e\u0434\u0443 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043d\u0430\u043a\u0440\u044b\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e. \u0421 \u044d\u0442\u0438\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044e \u0434\u043b\u044f \u0440\u0435\u0437\u043a\u0438\u0445, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 GAN-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0445\u043e\u0442\u044f \u0434\u043b\u044f \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e GAN \u044d\u0442\u043e \u043d\u0435 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u0430\u044f KL-\u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f &#8212; \u043f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0435 \u0435\u0433\u043e minimax-\u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432 \u0441\u0432\u044f\u0437\u0430\u043d \u0441 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0435\u0439 \u0419\u0435\u043d\u0441\u0435\u043d\u0430-\u0428\u0435\u043d\u043d\u043e\u043d\u0430.\u0410\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 IMLE \u043f\u043e \u0434\u0443\u0445\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e: \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u043b\u0436\u0435\u043d \u0438\u043c\u0435\u0442\u044c \u0440\u044f\u0434\u043e\u043c \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u0441\u044d\u043c\u043f\u043b \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043f\u043e\u043a\u0440\u044b\u0442\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u042d\u0442\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0441\u043e \u0441\u0432\u044f\u0437\u044c\u044e IMLE \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435\u043c, \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0432 Theorem 1 \u043f\u0440\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445.\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e, \u0447\u0435\u0440\u0435\u0434\u0443\u044f \u0434\u0432\u0430 \u0448\u0430\u0433\u0430: (1) \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0436\u0430\u0434\u043d\u043e\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u043c\u0438 \u0441\u044d\u043c\u043f\u043b\u0430\u043c\u0438, (2) \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438.\u0414\u0430\u043d\u043e: \u0434\u0430\u043d\u043d\u044b\u0435 {x_i}, i = 1..n; \u043d\u0435\u044f\u0432\u043d\u044b\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 x = T_\u03b8(z), z ~ N(0, I)\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u03b8for k = 1..K (\u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0446\u0438\u043a\u043b):    \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c m \u0441\u044d\u043c\u043f\u043b\u043e\u0432 x\u0303_1, &#8230;, x\u0303_m \u0438\u0437 T_\u03b8    \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0431\u0430\u0442\u0447 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 S \u2286 {1..n}    \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e i \u2208 S:        \u03c3(i) \u2190 argmin_j \u2016x_i \u2212 x\u0303_j\u2016\u00b2        # \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u0441\u044d\u043c\u043f\u043b, \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043d\u0430 \u0432\u0435\u0441\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0446\u0438\u043a\u043b    for l = 1..L (\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0446\u0438\u043a\u043b):        \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447 S\u0303 \u2286 S        \u03b8 \u2190 \u03b8 \u2212 \u03b7 \u2207_\u03b8 [ (n \/ |S\u0303|) \u00b7 \u03a3_{i\u2208S\u0303} \u2016x_i \u2212 x\u0303_{\u03c3(i)}\u2016\u00b2 ]return \u03b8\u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 &#8212; \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435  \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e \u0432\u043d\u0435\u0448\u043d\u0435\u043c \u0446\u0438\u043a\u043b\u0435, \u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0433\u043e \u044d\u0442\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438: \u043f\u043e\u0434\u0442\u044f\u043d\u0443\u0442\u044c  \u043a  \u0434\u043b\u044f \u0437\u0430\u043a\u0440\u0435\u043f\u043b\u0451\u043d\u043d\u044b\u0445 \u043f\u0430\u0440. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u043d\u0438 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440, \u043d\u0438 \u044f\u0432\u043d\u0430\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u043d\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f &#8212; \u0432\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c\u0443 \u0441\u043f\u0443\u0441\u043a\u0443 \u043f\u043e&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-492862","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=492862"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492862\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=492862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=492862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=492862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}