{"id":393639,"date":"2024-06-29T11:08:03","date_gmt":"2024-06-29T11:08:03","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=393639"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=393639","title":{"rendered":"<span>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 VAE \u0438 \u043d\u0438\u0436\u043d\u044f\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0430\u043a\u0438\u0445-\u043b\u0438\u0431\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 (evidence lower bound), \u043e \u043d\u0435\u0439 \u0438 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c. <\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0434\u0430\u0447\u0430. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0438\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fb2\/705\/38c\/fb270538cc69df489d2fb933d095a284.svg\" width=\"9\" height=\"12\"\/>\u043f\u043e\u0442\u043e\u043c \u0435\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x|z)\" alt=\"p_\\theta(x|z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/05d\/ee6\/46a\/05dee646a9e7a6e7aca88614012baa04.svg\" width=\"60\" height=\"22\"\/>, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0443\u0435\u043c\u044b\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d94\/3ad\/4f8\/d943ad4f82eaafbaa92df3640aec151b.svg\" width=\"9\" height=\"17\"\/>\u0438 \u0445\u043e\u0442\u0438\u043c \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0431\u044b\u043b\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u043c \u0432 \u0442\u043e\u0447\u043a\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a83\/1e5\/994\/a831e599440c007afcbc2bef4862b0a2.svg\" width=\"11\" height=\"12\"\/>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u043b\u0438\u0446\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u0441 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0432\u043d\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\frac{1}{dim(x)}\" alt=\"\\frac{1}{dim(x)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf8\/5c0\/6b6\/cf85c06b64a4a2daf6ba21f115cbf440.svg\" width=\"68\" height=\"49\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"dim(x) -\" alt=\"dim(x) -\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2e0\/aac\/e7b\/2e0aace7b3b9dddb8dee01dde7da1d79.svg\" width=\"76\" height=\"22\"\/>\u0434\u043b\u0438\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1fe\/66a\/6c9\/1fe66a6c9fbc809c8317e4c85a57f1f0.svg\" width=\"11\" height=\"12\"\/>. \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7c\/a8e\/6bd\/d7ca8e6bd5b56969ea9f61d607a35003.svg\" width=\"9\" height=\"12\"\/> \u0438\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f7\/716\/585\/7f771658580af8f827bd72170ba82311.svg\" width=\"11\" height=\"12\"\/>, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0432\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4eb\/f6b\/a57\/4ebf6ba57908c489e8dda81f247d8f35.svg\" width=\"9\" height=\"12\"\/>. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u044f\u0432\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435: \u0431\u0435\u0440\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/531\/3e9\/f92\/5313e9f928be310a3a1750bb19d1bfe6.svg\" width=\"9\" height=\"12\"\/> \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u043e\u0432\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0441\u0442\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c. \u041d\u043e \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u044d\u0442\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f, \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u0421\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <em>\u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043c\u044b \u043d\u0430\u0437\u043e\u0432\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(x, z).\" alt=\"p_\\theta(x, z).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f1\/939\/502\/4f193950267e5ba864154545fb5cd2cb.svg\" width=\"69\" height=\"22\"\/><\/em><\/strong><\/p>\n<p>\u041a\u0430\u043a \u0442\u0430\u043a\u043e\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0446? \u0417\u0430\u0432\u0435\u0434\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db9\/04d\/83e\/db904d83e2f70c70856f4f1aaa9be45f.svg\" width=\"11\" height=\"15\"\/>, \u0435\u0433\u043e \u043d\u0430\u0437\u043e\u0432\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49e\/5e5\/52f\/49e5e552f4e932483f627392f9bc9ab4.svg\" width=\"9\" height=\"15\"\/>. \u0421\u0443\u0442\u044c \u0435\u0433\u043e \u0442\u0430 \u0436\u0435, \u0447\u0442\u043e \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p.\" alt=\"p.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/60a\/176\/737\/60a176737c7362b149533b3e5a59a547.svg\" width=\"16\" height=\"15\"\/>\u042d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q_\\psi(x, z),\" alt=\"q_\\psi(x, z),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b9\/240\/698\/8b92406988bf8644f2a43c4b0fabf186.svg\" width=\"70\" height=\"23\"\/> \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/455\/158\/12f\/45515812f921a0d333c94c2627584da4.svg\" width=\"11\" height=\"12\"\/>\u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <em>\u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <\/em>(\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043b\u0438\u0446)<em>, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1be\/d1f\/a55\/1bed1fa55e17e9ce4631452ffa159d96.svg\" width=\"9\" height=\"12\"\/><\/em>\u044d\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0435 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e02\/a05\/7e9\/e02a057e9c8a3dae5f3f51150e63b3ed.svg\" width=\"11\" height=\"12\"\/>\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435. \u0417\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u043d\u0438 \u043f\u043e \u043d\u0430\u0448\u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q_\\psi(z|x)\" alt=\"q_\\psi(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ce\/421\/24c\/6ce42124c4ee1367468d9b7dbc1f6f36.svg\" width=\"61\" height=\"23\"\/>\u043f\u0430\u0440\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u0435\u043c\u043e\u043c\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi\" alt=\"\\psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b9\/558\/b62\/2b9558b62b0d9e42ae81f6d57056095e.svg\" width=\"13\" height=\"21\"\/>. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q_\\psi(z|x)\" alt=\"q_\\psi(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b64\/0da\/dbf\/b640dadbfb7e55b8c3131d764ebf6757.svg\" width=\"61\" height=\"23\"\/> \u0442\u0430\u043a\u0436\u0435 \u0431\u0435\u0440\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/063\/81b\/d9a\/06381bd9a89c430575696ed7f985f7ba.svg\" width=\"11\" height=\"12\"\/> \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u041d\u043e \u0443\u0436\u0435 \u043d\u0435 \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439, \u0430 \u043c\u0435\u043d\u044f\u044e\u0449\u0435\u0439\u0441\u044f \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e. \u0422.\u0435. \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2dd\/38e\/37e\/2dd38e37e2e510aafcd8492b20114f97.svg\" width=\"11\" height=\"12\"\/> \u0432\u044b\u0434\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca5\/94f\/77d\/ca594f77df49a0045af17c581786df35.svg\" width=\"9\" height=\"12\"\/>, \u043d\u043e \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439.<\/p>\n<p><strong>\u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u044f \u0431\u0443\u0434\u0443 \u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0434\u0430\u043b\u0435\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f34\/f61\/16d\/f34f6116d40f71fdbd34520e1eb27111.svg\" width=\"9\" height=\"17\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi\" alt=\"\\psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/030\/8a0\/755\/0308a07557e4d2edb7c0be2a4cbdaf51.svg\" width=\"13\" height=\"21\"\/>, \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u044f \u0432\u0441\u0435\u0433\u0434\u0430, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/388\/3b8\/473\/3883b84737364dd189d1c55441f19823.svg\" width=\"11\" height=\"15\"\/>\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67e\/e2c\/568\/67ee2c568d676f63cd1f4c0b38cb9d9f.svg\" width=\"9\" height=\"15\"\/>\u043e\u0442 \u0432\u0442\u043e\u0440\u043e\u0433\u043e<\/strong><\/p>\n<p>\u041e\u043a\u0435\u0439, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0438\u0448\u0435\u043c, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0442 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043c\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438. \u0410 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b <em>\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 <\/em>\u043d\u0430\u0448\u0438\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0431\u044b\u043b\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432 \u043d\u0430\u0448\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c0a\/d5b\/bee\/c0ad5bbeeeb2ceeaf4eb0f217526767d.svg\" width=\"11\" height=\"15\"\/>. \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/689\/913\/8c6\/6899138c6616b3ad84bd5ecbe91c4a4d.svg\" width=\"11\" height=\"12\"\/> \u0432 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438? \u042d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p(x) = \\int p(x, z) dz\" alt=\"p(x) = \\int p(x, z) dz\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46d\/675\/8ed\/46d6758edc544e83338a41b63ade6c21.svg\" width=\"159\" height=\"46\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0430\u0440\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445. \u0421\u0430\u043c\u043e \u043c\u0430\u0440\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u043d\u0438\u0435 &#8212; \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c. \u0418 \u043c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0442\u043e\u0447\u043a\u0430\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a. <\/p>\n<p>\u041f\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b. \u0422\u0430\u043a \u043a\u0430\u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c &#8212; \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u0430\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log p(x) = \\log \\int p(x, z) dz\" alt=\"\\log p(x) = \\log \\int p(x, z) dz\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cde\/d06\/382\/cded0638278e198466c3b3db05b52dfb.svg\" width=\"215\" height=\"46\"\/><\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0443 \u043d\u0430\u0441 \u043c\u043d\u043e\u0433\u043e, \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u043c \u043f\u043e &#171;\u0432\u0441\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c&#187; \u044d\u0442\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u0432\u0437\u044f\u0432 \u043f\u043e \u0438\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbb{E}_{x \\sim Real } {\\log p(x)} \\approx \\frac{1}{n}\\sum_i \\log p(x_i)\" alt=\"\\mathbb{E}_{x \\sim Real } {\\log p(x)} \\approx \\frac{1}{n}\\sum_i \\log p(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8fb\/5f0\/8fc\/8fb5f08fce79113e56557d24d4475aa4.svg\" width=\"279\" height=\"53\"\/><\/p>\n<p>\u041d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0443 \u043d\u0430\u0441 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(x)\" alt=\"q(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/68c\/757\/9ea\/68c7579eac624fffe6b1ec9a89adc41e.svg\" width=\"36\" height=\"22\"\/>, \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(x, z)\" alt=\"q(x, z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/382\/42b\/8b0\/38242b8b043318ae930edb5bfab5747a.svg\" width=\"54\" height=\"22\"\/>(\u0441\u043c. \u0432\u044b\u0448\u0435).<\/p>\n<p>\u0422\u0430\u043a \u0447\u0442\u043e \u043c\u044b \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0445\u043e\u0442\u0438\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbb{E}_{x \\sim q(x)} \\log p(x) = \\mathbb{E}_{x \\sim q(x)} {\\log \\int p(x, z) dz}\" alt=\"\\mathbb{E}_{x \\sim q(x)} \\log p(x) = \\mathbb{E}_{x \\sim q(x)} {\\log \\int p(x, z) dz}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da0\/e6e\/6a7\/da0e6e6a7952e32418b927e9a4f91966.svg\" width=\"336\" height=\"46\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u043f\u0440\u0430\u0432\u0430 \u043f\u043e\u0434 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c, <strong>\u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/34f\/926\/f76\/34f926f7628496363ae45c0a16cba7dd.svg\" width=\"11\" height=\"12\"\/><\/strong><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log \\int p(x, z)dz = \\log \\int q(z|x)\\frac{p(x, z)}{q(z|x)}dz = \\log \\mathbb{E}_{z \\sim q(z|x)}\\frac{p(x, z)}{q(z|x)}\" alt=\"\\log \\int p(x, z)dz = \\log \\int q(z|x)\\frac{p(x, z)}{q(z|x)}dz = \\log \\mathbb{E}_{z \\sim q(z|x)}\\frac{p(x, z)}{q(z|x)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a1\/f7b\/0fe\/9a1f7b0fea1924d781c9e9a3fc7b4750.svg\" width=\"515\" height=\"51\"\/><\/p>\n<p>\u0414\u043b\u044f \u0432\u043e\u0433\u043d\u0443\u0442\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/681\/c2c\/354\/681c2c3540f0fba2f4a65447b4703cef.svg\" width=\"11\" height=\"21\"\/>, \u0442\u0438\u043f\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0419\u0435\u043d\u0441\u0435\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"f(\\mathbb{E}g) \\geqslant \\mathbb{E}f(g)\" alt=\"f(\\mathbb{E}g) \\geqslant \\mathbb{E}f(g)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2bc\/7b2\/d49\/2bc7b2d49a08c45a83bdb99bdfd92ad8.svg\" width=\"123\" height=\"22\"\/><\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c, \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0435\u0433\u043e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log p(x) = \\log \\mathbb{E}_{z \\sim q(z|x)}\\frac{p(x, z)}{q(z|x)} \\geqslant \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(x, z)}{q(z|x)}\" alt=\"\\log p(x) = \\log \\mathbb{E}_{z \\sim q(z|x)}\\frac{p(x, z)}{q(z|x)} \\geqslant \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(x, z)}{q(z|x)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa8\/ec0\/9d5\/aa8ec09d59dbddcfcdf2e886c83efa50.svg\" width=\"436\" height=\"51\"\/><\/p>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441\u043f\u0440\u0430\u0432\u0430 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u0435\u0439 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u0435\u0439 \u0438\u043b\u0438 ELBO (Evidence Lower BOund)<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u043d\u0430\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430? \u041d\u0430 \u044d\u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u043d\u0438\u0436\u043d\u044e\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 (\u043f\u043e \u043d\u0430\u0448\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/526\/1ab\/f78\/5261abf7854f73abdb2391b2d7e8952b.svg\" width=\"9\" height=\"17\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi\" alt=\"\\psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fa4\/c7a\/6b6\/fa4c7a6b69282b7ef20903e102e08201.svg\" width=\"13\" height=\"21\"\/>) \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0431\u044b\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0435\u0451 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0442\u043e\u0436\u0435 \u043a\u0430\u043a \u0431\u044b \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u0430 \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043d\u0430\u0448\u0435\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b (\u0442.\u0435. \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043d\u0438\u0437\u0443)<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u043f\u0435\u0440\u0432\u043e\u0435, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0442\u043e \u0432\u0442\u043e\u0440\u043e\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u0440\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, z) = p(x)p(z|x)\" alt=\"p(x, z) = p(x)p(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7cb\/758\/b94\/7cb758b942f8bef85d5648757818af28.svg\" width=\"169\" height=\"22\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log p(x) \\geqslant \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(x, z)}{q(z|x)} = \\mathbb{E}_{z \\sim q(z|x)}\\log\\frac{p(x)p(z|x)}{q(z|x)} = \\\\ = \\mathbb{E}_{z \\sim q(z|x)} \\log p(x) + \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(z|x)}{q(z|x)}\" alt=\"\\log p(x) \\geqslant \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(x, z)}{q(z|x)} = \\mathbb{E}_{z \\sim q(z|x)}\\log\\frac{p(x)p(z|x)}{q(z|x)} = \\\\ = \\mathbb{E}_{z \\sim q(z|x)} \\log p(x) + \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(z|x)}{q(z|x)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f6\/df0\/f3a\/6f6df0f3a38a69e04082ca5538af9d3c.svg\" width=\"674\" height=\"107\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043e\u0442<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/496\/29f\/cc2\/49629fcc288ef7518029dc406866c8c3.svg\" width=\"9\" height=\"12\"\/> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log p (x)\" alt=\"\\log p (x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ec\/d02\/03a\/6ecd0203a5e85f0488857e918847b7d1.svg\" width=\"65\" height=\"22\"\/> (\u043a\u0430\u043a \u0440\u0430\u0437 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c!). \u0412\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435, \u0435\u0441\u043b\u0438 \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u043f\u043e\u0434 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c (\u0438 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0438\u0437 \u043d\u0435\u0433\u043e \u043c\u0438\u043d\u0443\u0441), \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0438\u043d\u0443\u0441 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%9A%D1%83%D0%BB%D1%8C%D0%B1%D0%B0%D0%BA%D0%B0_%E2%80%94_%D0%9B%D0%B5%D0%B9%D0%B1%D0%BB%D0%B5%D1%80%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0435\u0439 \u041a\u0443\u043b\u044c\u0431\u0430\u043a\u0430 \u2014 \u041b\u0435\u0439\u0431\u043b\u0435\u0440\u0430<\/a> \u043c\u0435\u0436\u0434\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(z|x)\" alt=\"q(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32a\/c47\/636\/32ac47636ed00bf3e02aa8aff320eb0a.svg\" width=\"50\" height=\"22\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(z|x)\" alt=\"p(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ce\/a5d\/58d\/6cea5d58de214cbe61622311c07c4c7a.svg\" width=\"52\" height=\"22\"\/>, \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u043c\u043e\u0439 \u043a\u0430\u043a<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"KL(q(z|x)|| p(z|x))\" alt=\"KL(q(z|x)|| p(z|x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/504\/4ac\/4ee\/5044ac4ee63a0617914cf0ef7d8396fe.svg\" width=\"158\" height=\"22\"\/>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log p(x) \\geqslant \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(x, z)}{q(z|x)}  = \\log p(x) -KL[q(z|x)||p(z|x)]\" alt=\"\\log p(x) \\geqslant \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{p(x, z)}{q(z|x)}  = \\log p(x) -KL[q(z|x)||p(z|x)]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6aa\/943\/d70\/6aa943d70df2f3981c498a3a1dd3292f.svg\" width=\"521\" height=\"51\"\/><\/p>\n<p>\u0427\u0442\u043e \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u043d\u0430\u0447\u0438\u0442? <\/p>\n<ul>\n<li>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f ELBO, \u043c\u044b \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log p(x) \" alt=\"\\log p(x) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/878\/73c\/930\/87873c930500dfe70e8ef55bc7d73e12.svg\" width=\"65\" height=\"22\"\/>\u043d\u043e \u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"KL(q(z|x) || p(z|x))\" alt=\"KL(q(z|x) || p(z|x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/625\/577\/c77\/625577c77eeb4170fc392d24217df9d2.svg\" width=\"158\" height=\"22\"\/><\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0434\u043e\u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"KL(q(z|x)||p(z|x))\" alt=\"KL(q(z|x)||p(z|x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f9\/28f\/ae3\/6f928fae35c96116ec272f5f4d5cf9fe.svg\" width=\"158\" height=\"22\"\/> \u0434\u043e \u043d\u0443\u043b\u044f, \u0442\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0432 \u0430\u043a\u043a\u0443\u0440\u0430\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log p(x)\" alt=\"\\log p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a1\/304\/19f\/4a130419f9effda642da7fe917339746.svg\" width=\"65\" height=\"22\"\/> (\u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e ELBO \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043f\u0440\u043e\u0441\u0442\u0443 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c \u0441 \u043d\u0435\u0439)<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0434 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0435\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u044d\u0442\u0430 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u044e\u0449\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0443\u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0430 \u043a \u043d\u0443\u043b\u044e<\/p>\n<p>\u041e\u0442\u043b\u0438\u0447\u043d\u043e! \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u043c \u043d\u0430 \u043b\u043e\u0433-\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log p(x)\" alt=\"\\log p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e9d\/709\/744\/e9d7097449e6d7fde643e4b80162a75c.svg\" width=\"65\" height=\"22\"\/>\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c ELBO, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0442\u043e\u043c \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u0435\u0440\u0432\u044b\u043c<\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u0435\u0442: \u043a\u0430\u043a \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 ELBO<\/p>\n<p>\u0427\u0442\u043e \u043c\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u043d\u0430\u0435\u043c \u0432 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438? \u041c\u044b \u0443\u043c\u0435\u0435\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0430\u0448\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 (\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u043e\u043a) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/694\/dd9\/ea6\/694dd9ea6bcd18ca803089ba8b2ccd82.svg\" width=\"11\" height=\"15\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c2e\/f57\/0ab\/c2ef570ab98bd157f6e6721ac3dc46db.svg\" width=\"9\" height=\"15\"\/> \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(z|x)\" alt=\"q(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e57\/026\/063\/e57026063799fc41dcc1482ebec2d2eb.svg\" width=\"50\" height=\"22\"\/> \u0438<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x|z)\" alt=\"p(x|z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f4b\/70b\/4cf\/f4b70b4cf56a3eeec940d3a83dfe6b55.svg\" width=\"52\" height=\"22\"\/>, \u0442\u0430\u043a \u0447\u0442\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0438\u0445 \u043a\u0430\u043a-\u0442\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c ELBO. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, z)\" alt=\"p(x, z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b1\/94b\/b6e\/1b194bb6e01f79f315e370bfc1dae637.svg\" width=\"55\" height=\"22\"\/> \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 ELBO \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, z) = p(x)p(z|x)\" alt=\"p(x, z) = p(x)p(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/55e\/67a\/687\/55e67a68715d577d5a80b67c579e687e.svg\" width=\"169\" height=\"22\"\/> \u0440\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0435\u0433\u043e \u0442\u0430\u043a:<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, z) = p(z) p(x| z)\" alt=\"p(x, z) = p(z) p(x| z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/624\/8a6\/e13\/6248a6e13982e76d9f199c1cc85180ef.svg\" width=\"167\" height=\"22\"\/>. \u0427\u0442\u043e \u043a\u0430\u043a \u0431\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u043b\u044f \u043d\u0430\u0441, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(x)\" alt=\"q(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ab\/62e\/df3\/7ab62edf36bdb4ff4003cdbe2eda6d06.svg\" width=\"36\" height=\"22\"\/>\u044d\u0442\u043e, \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(z)\" alt=\"p(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cc\/904\/92c\/9cc90492ccc54d1ab13e7b2fb98013e9.svg\" width=\"35\" height=\"22\"\/>\u043c\u044b \u0442\u043e\u0436\u0435 \u0437\u043d\u0430\u0435\u043c \u0438 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u044d\u0442\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435! (\u0441\u043c. \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c5\/1a1\/b15\/9c51a1b154e2d23c54ee855065e3549f.svg\" width=\"11\" height=\"15\"\/> \u0432\u044b\u0448\u0435)<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"ELBO = \\mathbb{E}_{z \\sim q(z|x)}{\\log \\frac{p(z)p(x|z)}{q(z|x)}} = \\mathbb{E}_{z \\sim q(z|x)}\\log p(x|z) - \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{q(z|x)}{p(z)} = \\\\ =\\mathbb{E}_{z \\sim q(z|x)}\\log p(x|z) - KL[q(z|x)||p(z)]\" alt=\"ELBO = \\mathbb{E}_{z \\sim q(z|x)}{\\log \\frac{p(z)p(x|z)}{q(z|x)}} = \\mathbb{E}_{z \\sim q(z|x)}\\log p(x|z) - \\mathbb{E}_{z \\sim q(z|x)}\\log \\frac{q(z|x)}{p(z)} = \\\\ =\\mathbb{E}_{z \\sim q(z|x)}\\log p(x|z) - KL[q(z|x)||p(z)]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ad\/655\/054\/5ad655054c76a8c997f7cfe209203749.svg\" width=\"674\" height=\"81\"\/><\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 &#8212; \u044d\u0442\u043e \u043a\u0430\u043a \u0431\u044b \u0445\u043e\u0440\u043e\u0448\u043e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u0441\u043e\u0437\u043d\u0430\u0435\u043c \u043e\u0434\u0438\u043d \u0444\u0430\u043a\u0442 \u043f\u0440\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbb{E}_{q(x)}\\mathbb{E}_{q(z|x)} = \\mathbb{E}_{q(x, z)}\" alt=\"\\mathbb{E}_{q(x)}\\mathbb{E}_{q(z|x)} = \\mathbb{E}_{q(x, z)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab0\/b48\/157\/ab0b481571d79554343366d446d07b09.svg\" width=\"168\" height=\"24\"\/><\/p>\n<p>\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0444\u0430\u043a\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbb{E}_{q(x)}\\mathbb{E}_{q(z|x)} f(x, z) = \\int q(x)\\int q(z|x)f(x, z)dzdx = \\int \\int q(x)q(z|x)f(x, z)dzdx =\\\\ = \\int \\int q(x, z)f(x, z)dzdx = \\mathbb{E}_{q(x, z)} f(x, z)\" alt=\"\\mathbb{E}_{q(x)}\\mathbb{E}_{q(z|x)} f(x, z) = \\int q(x)\\int q(z|x)f(x, z)dzdx = \\int \\int q(x)q(z|x)f(x, z)dzdx =\\\\ = \\int \\int q(x, z)f(x, z)dzdx = \\mathbb{E}_{q(x, z)} f(x, z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/430\/c92\/dfb\/430c92dfb4afa93461d8d99a73699082.svg\" width=\"697\" height=\"99\"\/><\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c-\u0442\u043e \u0434\u0435\u043b\u0435 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0435 \u0441\u0430\u043c\u0443 ELBO \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0430 \u0435\u0433\u043e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(x)\" alt=\"q(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e0d\/37a\/dcf\/e0d37adcf2a32acd4682d0f254a7fff2.svg\" width=\"36\" height=\"22\"\/>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e \u0441\u0443\u0442\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u0430\u0448\u0438\u0445 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a-\u043b\u0438\u0446.<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u043d\u0430\u043c \u043a\u0430\u043a \u0440\u0430\u0437 \u043f\u0440\u0438\u0433\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u043c\u0430\u0442\u043e\u0436\u0435\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbb{E}_{x\\sim q(x)}ELBO = \\mathbb{E}_{q(x)}(\\mathbb{E}_{z \\sim q(z|x)}\\log p(x|z) - KL[q(z|x)||p(z)]) = \\\\ = \\mathbb{E}_{x, z \\sim q(x, z)}\\log p(x|z) - \\mathbb{E}_{q(x)} KL[q(z|x)||p(z)]\" alt=\"\\mathbb{E}_{x\\sim q(x)}ELBO = \\mathbb{E}_{q(x)}(\\mathbb{E}_{z \\sim q(z|x)}\\log p(x|z) - KL[q(z|x)||p(z)]) = \\\\ = \\mathbb{E}_{x, z \\sim q(x, z)}\\log p(x|z) - \\mathbb{E}_{q(x)} KL[q(z|x)||p(z)]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44f\/895\/d35\/44f895d357ef9782c62ee047fc5fbda4.svg\" width=\"697\" height=\"55\"\/><\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e \u044d\u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043c\u044b \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043b\u0438 ELBO \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(z|x)\" alt=\"q(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1f\/4e0\/02a\/e1f4e002ae779d2c11f435a1810d80a7.svg\" width=\"50\" height=\"22\"\/>(\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435), <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x|z)\" alt=\"p(x|z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e3\/817\/d50\/5e3817d50c65fbee3fb814b7f002fcb3.svg\" width=\"52\" height=\"22\"\/>(\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e) \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(z)\" alt=\"p(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/78b\/98e\/bf8\/78b98ebf8e4e3437b030ccb65dd51985.svg\" width=\"35\" height=\"22\"\/> (\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u043f\u043e\u0441\u0442\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c). \u0412 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0438\u0437<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(x, z)\" alt=\"q(x, z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/31d\/117\/d81\/31d117d8163af78d731f888b758889e9.svg\" width=\"54\" height=\"22\"\/>\u043c\u044b \u0443\u043c\u0435\u0435\u043c \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0431\u0435\u0440\u044f \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/787\/b37\/0fb\/787b370fb129a0e994f1fa709ea73164.svg\" width=\"11\" height=\"12\"\/>\u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044f \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q(z|x)\" alt=\"q(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b2\/712\/295\/5b271229553f04df8d67bbb2ebb64881.svg\" width=\"50\" height=\"22\"\/>, \u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044f \u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/531\/d2f\/ff6\/531d2fff69da98cd3615afea72487044.svg\" width=\"9\" height=\"12\"\/>. \u0420\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u044d\u0442\u0443 \u043c\u044b\u0441\u043b\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e:<\/p>\n<p>\u0412\u043e\u0442 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d0\/917\/2f3\/5d09172f3ed55cc36017aefd1963ea64.svg\" width=\"11\" height=\"12\"\/>. \u041a\u0430\u043a \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c ELBO? <\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 (\u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u043c\u043e\u0435) \u043c\u043e\u0436\u043d\u043e \u0441\u0430\u043c\u044b\u043c \u0442\u0443\u043f\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c: \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u0410 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u044d\u0442\u043e \u0441\u0430\u043c \u044d\u0442\u043e\u0442 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 :). \u0422\u0430\u043a \u0447\u0442\u043e \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z \\sim q(z|x)\" alt=\"z \\sim q(z|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d1\/cc8\/ff9\/2d1cc8ff905aac076436760059a542b0.svg\" width=\"86\" height=\"22\"\/>, \u043f\u0440\u043e\u0433\u043d\u0430\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/272\/b36\/2be\/272b362be145fcd7c9161785ef1fd5b5.svg\" width=\"11\" height=\"12\"\/>\u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f9\/04a\/2aa\/4f904a2aaf04a1b106d5cc5a5c2e9351.svg\" width=\"9\" height=\"15\"\/> \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u044d\u0442\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 (\u043e\u043d\u043e \u0443 \u043d\u0430\u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435, \u0430 \u043c\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043f\u043e \u0441\u0443\u0442\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439). \u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9e\/094\/826\/d9e0948269c5582e1f94d84c63a07103.svg\" width=\"9\" height=\"12\"\/> \u0447\u0435\u0440\u0435\u0437 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x|z)\" alt=\"p(x|z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/732\/e00\/2be\/732e002be2b81f8279212398f6b9b1a3.svg\" width=\"52\" height=\"22\"\/>, \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(\\cdot|z).\" alt=\"p(\\cdot|z).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d0e\/ce5\/c45\/d0ece5c45d90efd5e6ff8635b7298c0b.svg\" width=\"52\" height=\"22\"\/>\u0412 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/96f\/770\/afc\/96f770afcb2afb9e2c79842e6dd1bbfd.svg\" width=\"11\" height=\"12\"\/>. \u041e\u043d\u043e \u0443 \u043d\u0430\u0441 \u0442\u043e\u0436\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435, \u043f\u0440\u0438\u0447\u0435\u043c \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 (\u0442.\u0435. \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043c\u044b \u043d\u0430\u0448\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu(z)\" alt=\"\\mu(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/427\/725\/544\/4277255442fa11fab74bfb3add002f1b.svg\" width=\"36\" height=\"22\"\/><\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e (\u043e\u043d\u043e \u0436\u0435 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435) \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p(x) = \\frac{1}{\\sqrt{(2\\pi)^n |\\Sigma|}}e^{-\\frac{1}{2}(x-\\mu)^T\\Sigma^{-1}(x-\\mu)}\" alt=\"p(x) = \\frac{1}{\\sqrt{(2\\pi)^n |\\Sigma|}}e^{-\\frac{1}{2}(x-\\mu)^T\\Sigma^{-1}(x-\\mu)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/52c\/e16\/f16\/52ce16f16ff7ccf9040ee6a2b7ba9714.svg\" width=\"304\" height=\"54\"\/><\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043b\u043e\u0433-\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log p(x|z) = C -\\frac{1}{2dim(x)}(x-\\mu(z))^T(x-\\mu(z)) = C - \\frac{1}{2}MSE(x, \\mu(z))\" alt=\"\\log p(x|z) = C -\\frac{1}{2dim(x)}(x-\\mu(z))^T(x-\\mu(z)) = C - \\frac{1}{2}MSE(x, \\mu(z))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0ed\/bc8\/5a4\/0edbc85a4f3914ad94ba46e87052fd82.svg\" width=\"610\" height=\"49\"\/><\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 (\u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0435) &#8212; KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u043c\u0438 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f\u043c\u0438. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0443\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u044f\u0432\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c, \u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"KL[N(a, \\Sigma_1)||N(b, \\Sigma_2)] = \\frac{1}{2}(tr(\\Sigma_2^{-1}\\Sigma_1-I) +(a - b)^T\\Sigma_2^{-1}(a-b) +\\log\\frac{|\\Sigma_2|}{|\\Sigma_1|})\" alt=\"KL[N(a, \\Sigma_1)||N(b, \\Sigma_2)] = \\frac{1}{2}(tr(\\Sigma_2^{-1}\\Sigma_1-I) +(a - b)^T\\Sigma_2^{-1}(a-b) +\\log\\frac{|\\Sigma_2|}{|\\Sigma_1|})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c5\/0af\/f4c\/8c50aff4cf10e1c636d55a2e16c07d95.svg\" width=\"660\" height=\"51\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u044f\u0432\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445: \u043f\u0435\u0440\u0432\u043e\u0435 \u0447\u0435\u0440\u0435\u0437 MSE \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e, \u0432\u0442\u043e\u0440\u043e\u0435 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/723674\/\"> https:\/\/habr.com\/ru\/articles\/723674\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0430\u043a\u0438\u0445-\u043b\u0438\u0431\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 (evidence lower bound), \u043e \u043d\u0435\u0439 \u0438 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c. <\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0434\u0430\u0447\u0430. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0438\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0442\u043e\u043c \u0435\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c , \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0443\u0435\u043c\u044b\u043c \u0438 \u0445\u043e\u0442\u0438\u043c \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0431\u044b\u043b\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u043c \u0432 \u0442\u043e\u0447\u043a\u0435 , \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u043b\u0438\u0446\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u0441 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0432\u043d\u043e\u0439 , \u0433\u0434\u0435 \u0434\u043b\u0438\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 . \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438  \u0438\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 , \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0432\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 . \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u044f\u0432\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435: \u0431\u0435\u0440\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e  \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u043e\u0432\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0441\u0442\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c. \u041d\u043e \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u044d\u0442\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f, \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u0421\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <em>\u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043c\u044b \u043d\u0430\u0437\u043e\u0432\u0435\u043c <\/em><\/strong><\/p>\n<p>\u041a\u0430\u043a \u0442\u0430\u043a\u043e\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0446? \u0417\u0430\u0432\u0435\u0434\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 , \u0435\u0433\u043e \u043d\u0430\u0437\u043e\u0432\u0435\u043c . \u0421\u0443\u0442\u044c \u0435\u0433\u043e \u0442\u0430 \u0436\u0435, \u0447\u0442\u043e \u0438 \u042d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435  \u0433\u0434\u0435 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <em>\u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <\/em>(\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043b\u0438\u0446)<em>, \u0430 <\/em>\u044d\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0435 \u043e\u0442 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435. \u0417\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u043d\u0438 \u043f\u043e \u043d\u0430\u0448\u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0443 \u043f\u0430\u0440\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u0435\u043c\u043e\u043c\u0443 .  \u0442\u0430\u043a\u0436\u0435 \u0431\u0435\u0440\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e  \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u041d\u043e \u0443\u0436\u0435 \u043d\u0435 \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439, \u0430 \u043c\u0435\u043d\u044f\u044e\u0449\u0435\u0439\u0441\u044f \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e. \u0422.\u0435. \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439  \u0432\u044b\u0434\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 , \u043d\u043e \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439.<\/p>\n<p><strong>\u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u044f \u0431\u0443\u0434\u0443 \u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0434\u0430\u043b\u0435\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b  \u0438 , \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u044f \u0432\u0441\u0435\u0433\u0434\u0430, \u0447\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e, \u0430 \u043e\u0442 \u0432\u0442\u043e\u0440\u043e\u0433\u043e<\/strong><\/p>\n<p>\u041e\u043a\u0435\u0439, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0438\u0448\u0435\u043c, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0442 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043c\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438. \u0410 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b <em>\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 <\/em>\u043d\u0430\u0448\u0438\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0431\u044b\u043b\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432 \u043d\u0430\u0448\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 . \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438  \u0432 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438? \u042d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0430\u0440\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445. \u0421\u0430\u043c\u043e \u043c\u0430\u0440\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u043d\u0438\u0435 &#8212; \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c. \u0418 \u043c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0442\u043e\u0447\u043a\u0430\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a. <\/p>\n<p>\u041f\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b. \u0422\u0430\u043a \u043a\u0430\u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c &#8212; \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u0430\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f<\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0443 \u043d\u0430\u0441 \u043c\u043d\u043e\u0433\u043e, \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u043c \u043f\u043e &#171;\u0432\u0441\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c&#187; \u044d\u0442\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u0432\u0437\u044f\u0432 \u043f\u043e \u0438\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c <\/p>\n<p>\u041d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0443 \u043d\u0430\u0441 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e , \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e (\u0441\u043c. \u0432\u044b\u0448\u0435).<\/p>\n<p>\u0422\u0430\u043a \u0447\u0442\u043e \u043c\u044b \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0445\u043e\u0442\u0438\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u043f\u0440\u0430\u0432\u0430 \u043f\u043e\u0434 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c, <strong>\u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 <\/strong><\/p>\n<p>\u0414\u043b\u044f \u0432\u043e\u0433\u043d\u0443\u0442\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 , \u0442\u0438\u043f\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0419\u0435\u043d\u0441\u0435\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c, \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0435\u0433\u043e:<\/p>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441\u043f\u0440\u0430\u0432\u0430 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u0435\u0439 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u0435\u0439 \u0438\u043b\u0438 ELBO (Evidence Lower BOund)<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u043d\u0430\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430? \u041d\u0430 \u044d\u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u043d\u0438\u0436\u043d\u044e\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 (\u043f\u043e \u043d\u0430\u0448\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c  \u0438 ) \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0431\u044b\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0435\u0451 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0442\u043e\u0436\u0435 \u043a\u0430\u043a \u0431\u044b \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u0430 \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043d\u0430\u0448\u0435\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b (\u0442.\u0435. \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043d\u0438\u0437\u0443)<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u043f\u0435\u0440\u0432\u043e\u0435, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0442\u043e \u0432\u0442\u043e\u0440\u043e\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u0440\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0443 <\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043e\u0442 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e  (\u043a\u0430\u043a \u0440\u0430\u0437 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c!). \u0412\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435, \u0435\u0441\u043b\u0438 \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u043f\u043e\u0434 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c (\u0438 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0438\u0437 \u043d\u0435\u0433\u043e \u043c\u0438\u043d\u0443\u0441), \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0438\u043d\u0443\u0441 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%9A%D1%83%D0%BB%D1%8C%D0%B1%D0%B0%D0%BA%D0%B0_%E2%80%94_%D0%9B%D0%B5%D0%B9%D0%B1%D0%BB%D0%B5%D1%80%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0435\u0439 \u041a\u0443\u043b\u044c\u0431\u0430\u043a\u0430 \u2014 \u041b\u0435\u0439\u0431\u043b\u0435\u0440\u0430<\/a> \u043c\u0435\u0436\u0434\u0443 \u0438 , \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u043c\u043e\u0439 \u043a\u0430\u043a.<\/p>\n<p>\u0427\u0442\u043e \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u043d\u0430\u0447\u0438\u0442? <\/p>\n<ul>\n<li>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f ELBO, \u043c\u044b \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043d\u043e \u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c, <\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0434\u043e\u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c  \u0434\u043e \u043d\u0443\u043b\u044f, \u0442\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0432 \u0430\u043a\u043a\u0443\u0440\u0430\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c  (\u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e ELBO \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043f\u0440\u043e\u0441\u0442\u0443 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c \u0441 \u043d\u0435\u0439)<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0434 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0435\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u044d\u0442\u0430 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u044e\u0449\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0443\u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0430 \u043a \u043d\u0443\u043b\u044e<\/p>\n<p>\u041e\u0442\u043b\u0438\u0447\u043d\u043e! \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u043c \u043d\u0430 \u043b\u043e\u0433-\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c ELBO, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0442\u043e\u043c \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u0435\u0440\u0432\u044b\u043c<\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u0435\u0442: \u043a\u0430\u043a \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 ELBO<\/p>\n<p>\u0427\u0442\u043e \u043c\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u043d\u0430\u0435\u043c \u0432 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438? \u041c\u044b \u0443\u043c\u0435\u0435\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0430\u0448\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 (\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u043e\u043a)  \u0438  \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c  \u0438, \u0442\u0430\u043a \u0447\u0442\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0438\u0445 \u043a\u0430\u043a-\u0442\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c ELBO. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 ELBO \u043a\u0430\u043a  \u0440\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0435\u0433\u043e \u0442\u0430\u043a:. \u0427\u0442\u043e \u043a\u0430\u043a \u0431\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u043b\u044f \u043d\u0430\u0441, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u044d\u0442\u043e, \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043c\u044b \u0442\u043e\u0436\u0435 \u0437\u043d\u0430\u0435\u043c \u0438 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u044d\u0442\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435! (\u0441\u043c. \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435  \u0432\u044b\u0448\u0435)<\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 &#8212; \u044d\u0442\u043e \u043a\u0430\u043a \u0431\u044b \u0445\u043e\u0440\u043e\u0448\u043e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u0441\u043e\u0437\u043d\u0430\u0435\u043c \u043e\u0434\u0438\u043d \u0444\u0430\u043a\u0442 \u043f\u0440\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435:<\/p>\n<p>\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0444\u0430\u043a\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e:<\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c-\u0442\u043e \u0434\u0435\u043b\u0435 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0435 \u0441\u0430\u043c\u0443 ELBO \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0430 \u0435\u0433\u043e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u043e , \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e \u0441\u0443\u0442\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u0430\u0448\u0438\u0445 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a-\u043b\u0438\u0446.<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u043d\u0430\u043c \u043a\u0430\u043a \u0440\u0430\u0437 \u043f\u0440\u0438\u0433\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u043c\u0430\u0442\u043e\u0436\u0435\u0439:<\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e \u044d\u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043c\u044b \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043b\u0438 ELBO \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 (\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435), (\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e) \u0438  (\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u043f\u043e\u0441\u0442\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c). \u0412 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0438\u0437\u043c\u044b \u0443\u043c\u0435\u0435\u043c \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0431\u0435\u0440\u044f \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0439 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044f \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c , \u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044f \u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u043d\u0438\u044f . \u0420\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u044d\u0442\u0443 \u043c\u044b\u0441\u043b\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e:<\/p>\n<p>\u0412\u043e\u0442 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 . \u041a\u0430\u043a \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c ELBO? <\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 (\u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u043c\u043e\u0435) \u043c\u043e\u0436\u043d\u043e \u0441\u0430\u043c\u044b\u043c \u0442\u0443\u043f\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c: \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u0410 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u044d\u0442\u043e \u0441\u0430\u043c \u044d\u0442\u043e\u0442 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 :). \u0422\u0430\u043a \u0447\u0442\u043e \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c , \u043f\u0440\u043e\u0433\u043d\u0430\u0432 \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c  \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u044d\u0442\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 (\u043e\u043d\u043e \u0443 \u043d\u0430\u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435, \u0430 \u043c\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043f\u043e \u0441\u0443\u0442\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439). \u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439  \u0447\u0435\u0440\u0435\u0437 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 , \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0412 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c . \u041e\u043d\u043e \u0443 \u043d\u0430\u0441 \u0442\u043e\u0436\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435, \u043f\u0440\u0438\u0447\u0435\u043c \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 (\u0442.\u0435. \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043c\u044b \u043d\u0430\u0448\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 <\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e (\u043e\u043d\u043e \u0436\u0435 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435) \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043b\u043e\u0433-\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435:<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 (\u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0435) &#8212; KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u043c\u0438 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f\u043c\u0438. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0443\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u044f\u0432\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c, \u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u0430:<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u044f\u0432\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445: \u043f\u0435\u0440\u0432\u043e\u0435 \u0447\u0435\u0440\u0435\u0437 MSE \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e, \u0432\u0442\u043e\u0440\u043e\u0435 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/723674\/\"> https:\/\/habr.com\/ru\/articles\/723674\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-393639","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/393639","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=393639"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/393639\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=393639"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=393639"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=393639"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}