{"id":287858,"date":"2018-08-16T14:18:03","date_gmt":"2018-08-16T10:18:03","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=287858"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=287858","title":{"rendered":"\u041b\u0443\u0447\u0448\u0438\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u044b \u043f\u0440\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 ICML 2018 \u043f\u043e \u0432\u0435\u0440\u0441\u0438\u0438 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u043e\u0432 \u042f\u043d\u0434\u0435\u043a\u0441\u0430"},"content":{"rendered":"\n<div data-io-article-url=\"https:\/\/habr.com\/company\/yandex\/blog\/418421\/\" class=\"post__text post__text-html js-mediator-article\">\u0421 10 \u043f\u043e 15 \u0438\u044e\u043b\u044f \u0432 \u0421\u0442\u043e\u043a\u0433\u043e\u043b\u044c\u043c\u0435 \u043f\u0440\u043e\u0448\u043b\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f ICML, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0445 \u0432 \u043c\u0438\u0440\u0435 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412 \u044d\u0442\u043e\u043c \u0433\u043e\u0434\u0443 \u0435\u0435 \u043f\u043e\u0441\u0435\u0442\u0438\u043b\u043e \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u2013 7000. \u0421\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u0431\u044b\u043b\u0438 \u0438 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0438 \u042f\u043d\u0434\u0435\u043a\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 CatBoost \u0438 DeepHD, \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u0422\u043e\u043b\u043e\u043a\u0430, \u0414\u0437\u0435\u043d \u0438 \u041f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0431\u0435\u0441\u043f\u0438\u043b\u043e\u0442\u043d\u044b\u0445 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u0435\u0439 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043e\u043d\u0438 \u043f\u043e\u0434\u0435\u043b\u044f\u0442\u0441\u044f \u0441 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0425\u0430\u0431\u0440\u0430 \u043f\u043e\u0434\u0431\u043e\u0440\u043a\u043e\u0439 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043b\u0438\u0441\u044c \u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/di\/nw\/0-\/dinw0-7n4w0qychmluy33lbn_44.jpeg\"><\/p>\n<p>  \u041a\u0441\u0442\u0430\u0442\u0438, \u043d\u0430 \u0444\u043e\u0442\u043e \u0432\u044b\u0448\u0435 \u0448\u0443\u0442\u043a\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u2013 \u044d\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c \u0438\u0437 \u043f\u0438\u0441\u0435\u043c \u0442\u0435\u0445, \u043a\u0442\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b \u0441\u0432\u043e\u0439 \u0434\u043e\u043a\u043b\u0430\u0434 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044e. \u0422\u043e\u0447\u043d\u0435\u0435, \u0438\u0437 \u043f\u0438\u0441\u0435\u043c \u0441 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 \u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u043a\u0443 \u0440\u0435\u0446\u0435\u043d\u0437\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0432\u0435\u043b\u0438 \u043a \u043f\u0440\u0438\u0451\u043c\u0443 \u0434\u043e\u043a\u043b\u0430\u0434\u0430. \u0422\u0443\u0442 \u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u00ab\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439\u00bb \u043e\u0442\u0432\u0435\u0442, \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u043e \u043c\u044b \u043e\u0442\u0432\u043b\u0435\u043a\u043b\u0438\u0441\u044c, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u043e\u0431\u0437\u043e\u0440\u0443 \u043f\u044f\u0442\u0438 \u043b\u0443\u0447\u0448\u0438\u0445 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 (\u0432\u0441\u0435 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043a\u043b\u0438\u043a\u0430\u0431\u0435\u043b\u044c\u043d\u044b \u0438 \u0432\u0435\u0434\u0443\u0442 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u043e\u043a\u043b\u0430\u0434\u0447\u0438\u043a\u043e\u0432). <br \/>  <a name=\"habracut\"><\/a>  <\/p>\n<h2><a href=\"https:\/\/arxiv.org\/abs\/1711.00464\">1. Fixing the broken ELBO<\/a><\/h2>\n<p>  \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u043f\u0440\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438.<\/p>\n<p>  <b>\u041f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f<\/b><\/p>\n<p>  \u0412\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0438 (VAE) \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e4d\/3e9\/8fd\/e4d3e98fdf2112b6d2d70e6d7f77a969.svg\" alt=\"$ p(x) $\" data-tex=\"inline\"><\/math> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c:<\/p>\n<p>  1. \u0412\u043d\u0430\u0447\u0430\u043b\u0435 \u0438\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1dc\/b98\/434\/1dcb98434a1053242e584c0151982f9b.svg\" alt=\"$ p(z)$\" data-tex=\"inline\"><\/math> \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u00ab\u0441\u043a\u0440\u044b\u0442\u0443\u044e\u00bb \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$ z$\" data-tex=\"inline\"><\/math>.<br \/>  2. \u0417\u0430\u0442\u0435\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438-\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ff2\/c64\/99d\/ff2c6499d038a61a41d7ce75cd78788f.svg\" alt=\"$ \\theta$\" data-tex=\"inline\"><\/math> \u0438\u0437 \u043d\u0435\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$ p(x|z)$\" data-tex=\"inline\"><\/math>.<br \/>  3. \u0418\u0437 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$ p(x|z)$\" data-tex=\"inline\"><\/math> \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u043e\u0431\u044a\u0435\u043a\u0442.<\/p>\n<p>  \u0422\u0430\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438\u0437 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043a\u0438\u0440\u043f\u0438\u0447\u0438\u043a\u043e\u0432 \u0432\u0435\u0441\u044c\u043c\u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1dc\/b98\/434\/1dcb98434a1053242e584c0151982f9b.svg\" alt=\"$ p(z)$\" data-tex=\"inline\"><\/math> \u2013 \u044d\u0442\u043e \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$ p(x|z)$\" data-tex=\"inline\"><\/math> \u2013 724-\u043c\u0435\u0440\u043d\u044b\u0439 \u0431\u0435\u0440\u043d\u0443\u043b\u043b\u0435\u0432\u0441\u043a\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, VAE \u0443\u0434\u0430\u0447\u043d\u043e \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0446\u0438\u0444\u0440 MNIST.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$ z$\" data-tex=\"inline\"><\/math> \u043d\u0430 \u043c\u0435\u0441\u0442\u0435 \u0442\u043e\u0447\u0435\u043a \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$ p(x|z)$\" data-tex=\"inline\"><\/math>, \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0443\u043b\u043e\u0436\u0438\u043b\u0430 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0446\u0438\u0444\u0440 \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qq\/_d\/-j\/qq_d-jkxeournen0nnmignhcd_m.jpeg\"><\/p>\n<p>  \u0410 \u0435\u0441\u043b\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0446\u0438\u0444\u0440 \u0438\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9a3\/052\/932\/9a3052932c6755f49a508625d3d55876.svg\" alt=\"$ p(z|x)$\" data-tex=\"inline\"><\/math> \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c, \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u044e\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f: \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 \u043a\u0443\u0434\u0430 \u043f\u0440\u043e\u0449\u0435 \u043d\u0430\u0443\u0447\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440, \u0438 \u0435\u043c\u0443 \u0442\u043e\u0447\u043d\u043e \u043d\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/d3\/o4\/ow\/d3o4ownqhxoxz69ztiymq9mk0ia.jpeg\"><\/p>\n<p>  \u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6d6\/a4f\/78f\/6d6a4f78fbacd6edecc018ce8ad3e364.svg\" alt=\"$ X$\" data-tex=\"inline\"><\/math> \u0432 \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/dc5\/38a\/a75\/dc538aa751c3a07f2cfed61cdbb59823.svg\" alt=\"$ p(X) = \\prod_{x \\in X} p(x) = \\prod_{x \\in X}\\int p(x|z)p(z) dz$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$ p(x|z)$\" data-tex=\"inline\"><\/math> \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e, \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0448\u0430\u043d\u0441\u043e\u0432 \u0432\u0437\u044f\u0442\u044c \u044d\u0442\u043e\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u044f\u043c\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434:<\/p>\n<p>  \u2013 \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/951\/8f7\/fac\/9518f7fac42e2926998ed5e9bfa741fb.svg\" alt=\"$ q(z|x)$\" data-tex=\"inline\"><\/math>, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/aae\/091\/f5b\/aae091f5b95958871da9aa5166cb91a8.svg\" alt=\"$ \\phi_x$\" data-tex=\"inline\"><\/math>. \u0417\u0430\u0434\u0430\u0447\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d68\/cc4\/926\/d68cc4926bf74bae8fa3b51ca4a09ec8.svg\" alt=\"$ q$\" data-tex=\"inline\"><\/math> \u2013 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u0435\u0435 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9a3\/052\/932\/9a3052932c6755f49a508625d3d55876.svg\" alt=\"$ p(z|x)$\" data-tex=\"inline\"><\/math>. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043e\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0437 \u043a\u0430\u043a\u0438\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$ z$\" data-tex=\"inline\"><\/math> \u0431\u044b\u043b \u043f\u043e\u043b\u0443\u0447\u0435\u043d \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/817\/b92\/407\/817b92407f764f57af9226e50cc788fd.svg\" alt=\"$ x$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u2013 \u0417\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043d\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1fb\/bf4\/562\/1fbbf45622651d8bf0a247888f10d666.svg\" alt=\"$ \\log p(X) \\geq \\sum_{x \\in X} \\int q(z|x) \\left(\\log p(x|z) + \\log \\frac{q(z|x)}{p(z)} \\right) dz$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u042d\u0442\u0430 \u043d\u0438\u0436\u043d\u044f\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f ELBO (Evidence Lower Bound) \u2013 \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438. \u041e\u043d\u0430 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0432\u043d\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0443 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0435\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/451\/d6b\/bd8\/451d6bbd849c707aec8d2db1d497c607.svg\" alt=\"$ q(z|x) = p(z|x)$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u2013 \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/63e\/da8\/03c\/63eda803ce3c511b570836fcbe8ea9ab.svg\" alt=\"$ \\phi$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ff2\/c64\/99d\/ff2c6499d038a61a41d7ce75cd78788f.svg\" alt=\"$ \\theta$\" data-tex=\"inline\"><\/math> \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/arxiv.org\/abs\/1312.6114\">reparametrization trick<\/a>, \u043b\u0438\u0431\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e log-derivative trick (\u043e\u043d \u0436\u0435 score function estimator, \u043e\u043d \u0436\u0435 REINFORCE).<\/p>\n<p>  \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/951\/8f7\/fac\/9518f7fac42e2926998ed5e9bfa741fb.svg\" alt=\"$ q(z|x)$\" data-tex=\"inline\"><\/math> \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e, \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/817\/b92\/407\/817b92407f764f57af9226e50cc788fd.svg\" alt=\"$ x$\" data-tex=\"inline\"><\/math> \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/aae\/091\/f5b\/aae091f5b95958871da9aa5166cb91a8.svg\" alt=\"$ \\phi_x$\" data-tex=\"inline\"><\/math>. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c. \u0418\u043c\u0435\u043d\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0443\u0447\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <b>\u0421\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u043c\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440<\/b><\/p>\n<p>  \u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$ p(x|z)$\" data-tex=\"inline\"><\/math> \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0441 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438), <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$ z$\" data-tex=\"inline\"><\/math> \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u043e\u0439 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$ z$\" data-tex=\"inline\"><\/math> \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0440\u0438\u0447\u0435\u0441\u043a\u0443 \u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043d\u0430 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u0438\u043b\u0438 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u043b\u043e\u0434\u0438\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mp\/4l\/e4\/mp4le4_jeipwscv9lsziq-yt9vg.png\"><\/p>\n<p>  \u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0441\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/817\/b92\/407\/817b92407f764f57af9226e50cc788fd.svg\" alt=\"$ x$\" data-tex=\"inline\"><\/math> \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$ z$\" data-tex=\"inline\"><\/math>, \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u0438\u043b\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0438. \u0420\u0430\u0437\u0443\u043c\u043d\u043e \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$ p(x|z)$\" data-tex=\"inline\"><\/math> \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u00ab\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0435\u00bb \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f: \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a WaveNet \u0438\u043b\u0438 PixelCNN, \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0442\u043e\u043a\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, RealNVP, \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 VAE, \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/723\/4a5\/2ba\/7234a52ba041cdb09b9328a047048fb2.svg\" alt=\"$ \\alpha$\" data-tex=\"inline\"><\/math>-GAN.<\/p>\n<p>  \u041f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u044c VAE \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430\u043c\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u043c\u0438: \u00ab\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u043c\u043d\u044b\u0439\u00bb \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0441\u0430\u043c \u00ab\u0441\u044a\u0435\u0434\u0430\u0435\u0442\u00bb \u0432\u0441\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0441\u043a\u0440\u044b\u0442\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e. <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$ z$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/817\/b92\/407\/817b92407f764f57af9226e50cc788fd.svg\" alt=\"$ x$\" data-tex=\"inline\"><\/math> \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f. \u0412 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0431\u044b\u043b\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u044b \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043e\u0431\u043e\u0439\u0442\u0438 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043d\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043e\u043d\u0438 \u0441\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u043a \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044e \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430, \u043b\u0438\u0431\u043e \u043a \u0440\u0430\u0437\u043d\u044b\u043c \u0445\u0430\u043a\u0430\u043c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u0410\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043f\u0435\u0440\u0432\u043e\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d \u044d\u0442\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0431\u043e\u0440\u044c\u0431\u044b \u0441 \u043d\u0438\u043c.<\/p>\n<p>  <b>\u0413\u043b\u0430\u0432\u043d\u044b\u0435 \u0438\u0434\u0435\u0438 \u0441\u0442\u0430\u0442\u044c\u0438<\/b><\/p>\n<p>  \u2013 \u0410\u043f\u043f\u0430\u0440\u0430\u0442 \u0438\u0437 <a href=\"https:\/\/arxiv.org\/pdf\/physics\/0004057.pdf\">Information Bottleneck Theory<\/a> \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$z$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/817\/b92\/407\/817b92407f764f57af9226e50cc788fd.svg\" alt=\"$ x$\" data-tex=\"inline\"><\/math>. \u041a\u043e\u0433\u0434\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ac\/fc5\/9fb\/4acfc59fb1224cbe2b7a1994eb548e47.svg\" alt=\"$ H(x)$\" data-tex=\"inline\"><\/math>, \u0441\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c: \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a. \u041a\u043e\u0433\u0434\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u0441\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445, \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u00ab\u0441\u043e\u0436\u0440\u0430\u043b\u00bb \u0432\u0441\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e. \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043f\u043e\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435: \u0441\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0434\u043e\u043b\u0436\u043d\u0430 \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0430\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u0431 \u043e\u0431\u044a\u0435\u043a\u0442\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u043e\u0440\u043c\u0430 \u043b\u0438\u0446\u0430, \u0446\u0432\u0435\u0442 \u0433\u043b\u0430\u0437, &#8230;) \u0438 \u0432\u044b\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0434\u0435\u0442\u0430\u043b\u0438 (\u0446\u0432\u0435\u0442\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439, \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u044b).<\/p>\n<p>  \u2013 \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 VAE \u0441 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438: \u043f\u0443\u0441\u0442\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/951\/8f7\/fac\/9518f7fac42e2926998ed5e9bfa741fb.svg\" alt=\"$q(z|x)$\" data-tex=\"inline\"><\/math>, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/738\/4e4\/c607384e42c7e9fb6f6f5657374537f6.svg\" alt=\"$p(x|z)$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1dc\/b98\/434\/1dcb98434a1053242e584c0151982f9b.svg\" alt=\"$p(z)$\" data-tex=\"inline\"><\/math> \u2013 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0434\u043b\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/832\/ba2\/723\/832ba2723dfea74dac7dbee24f13b885.svg\" alt=\"$q(x|z)$\" data-tex=\"inline\"><\/math> \u0438 \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5a0\/9d6\/3e0\/5a09d63e0a3972fb34d884170192fa09.svg\" alt=\"$ E_x[q(z|x)]$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u2013 \u0414\u043b\u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/951\/8f7\/fac\/9518f7fac42e2926998ed5e9bfa741fb.svg\" alt=\"$q(z|x)$\" data-tex=\"inline\"><\/math> \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0438 \u0432\u0435\u0440\u0445\u043d\u044f\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0435 \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1dc\/b98\/434\/1dcb98434a1053242e584c0151982f9b.svg\" alt=\"$ p(z)$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9a3\/052\/932\/9a3052932c6755f49a508625d3d55876.svg\" alt=\"$ p(z|x)$\" data-tex=\"inline\"><\/math>: <\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ef1\/014\/c29\/ef1014c29b91ddaa6fb3677b35d93a9d.svg\" alt=\"$ H - D \\leq I(x, y) \\leq R$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bd2\/36a\/859\/bd236a859d121c85d92d1acf80ba3597.svg\" alt=\"$ H$\" data-tex=\"inline\"><\/math> \u2013 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c5e\/2ea\/3b6\/c5e2ea3b63d255f7a483773fe1d664b2.svg\" alt=\"$ D$\" data-tex=\"inline\"><\/math> \u2013 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0440\u0438 \u0441\u0436\u0430\u0442\u0438\u0438 \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b81\/a7c\/1e9\/b81a7c1e9676b36cc02ddeea5d5f6e51.svg\" alt=\"$R$\" data-tex=\"inline\"><\/math> \u2013 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1dc\/b98\/434\/1dcb98434a1053242e584c0151982f9b.svg\" alt=\"$ p(z)$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5a0\/9d6\/3e0\/5a09d63e0a3972fb34d884170192fa09.svg\" alt=\"$ E_x[q(z|x)]$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ma\/ic\/rt\/maicrtgdzminnjrorcvhrk1ckga.png\"><\/p>\n<p>  \u041a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u0447\u0435\u043a \u0432 RD \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0444\u043e\u0440\u043c\u0430 \u044d\u0442\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u00ab\u0431\u0430\u043b\u0430\u043d\u0441\u0430 \u0441\u0438\u043b\u00bb \u043c\u0435\u0436\u0434\u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u043c.<\/p>\n<p>  \u2013 \u041f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f ELBO \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7bd\/53a\/cd3\/7bd53acd30575a90789043c8f4d24626.svg\" alt=\"$D + R$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u0443 \u0442\u043e\u0447\u043a\u0438 \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u043c \u043a\u0430\u0441\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0b2\/ec2\/69e\/0b2ec269e1e17af65215248d94033bd5.svg\" alt=\"$ \\beta = 1$\" data-tex=\"inline\"><\/math> \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430. \u0415\u0441\u043b\u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u0438\u0431\u043a\u0438\u0439 \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1dc\/b98\/434\/1dcb98434a1053242e584c0151982f9b.svg\" alt=\"$ p(z)$\" data-tex=\"inline\"><\/math> \u043d\u0435 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5a0\/9d6\/3e0\/5a09d63e0a3972fb34d884170192fa09.svg\" alt=\"$ E_x[q(z|x)]$\" data-tex=\"inline\"><\/math>, \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0432\u044b\u0433\u043e\u0434\u043d\u043e \u0432\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e: \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f ELBO \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u0435\u0435 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u043c.<\/p>\n<p>  \u2013 \u0414\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/846\/409\/963\/846409963dfe661eaf416c13313e6c15.svg\" alt=\"$D + \\beta R$\" data-tex=\"inline\"><\/math>, \u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7fd\/b73\/0d9\/7fdb730d916a98c0ad71826e0bc706bf.svg\" alt=\"$\\beta$\" data-tex=\"inline\"><\/math> \u2013 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 \u0437\u0430 \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u043c.<\/p>\n<p>  \u2013 \u0410\u0432\u0442\u043e\u0440\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7fd\/b73\/0d9\/7fdb730d916a98c0ad71826e0bc706bf.svg\" alt=\"$\\beta$\" data-tex=\"inline\"><\/math>, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441 \u0440\u0430\u0437\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u0438: \u043e\u0442 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 (<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ae8\/626\/dd5\/ae8626dd56c8226a11fb4d757c84489e.svg\" alt=\"$\\beta = 0$\" data-tex=\"inline\"><\/math>), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c, \u0434\u043e \u00ab\u0430\u0432\u0442\u043e\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430\u00bb (<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fcf\/51e\/271\/fcf51e2713bed4a5100a2d5b6cbef7ca.svg\" alt=\"$\\beta = \\infty$\" data-tex=\"inline\"><\/math>), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435. \u041f\u043e\u0434\u043e\u0431\u0440\u0430\u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7fd\/b73\/0d9\/7fdb730d916a98c0ad71826e0bc706bf.svg\" alt=\"$\\beta$\" data-tex=\"inline\"><\/math>, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u00ab\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0449\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u0438\u043b\u0438 \u00ab\u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043c\u0435\u043b\u043a\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u0441 \u0441\u0443\u043f\u0435\u0440\u043c\u043e\u0449\u043d\u044b\u043c \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u043c PixelCNN++ \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0443\u0434\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0432 VAE. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/p2\/s-\/vf\/p2s-vfxulk-71vewsvhokms7eee.png\"><\/p>\n<h2><a href=\"http:\/\/proceedings.mlr.press\/v80\/roberts18a\/roberts18a.pdf\">2. A Hierarchical Latent Vector Model for Learning Long-Term Structure in Music<\/a><\/h2>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0432\u044f\u0442 \u043f\u0435\u0440\u0435\u0434 \u0441\u043e\u0431\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043c\u0443\u0437\u044b\u043a\u0438 (\u043a\u0430\u043a \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432) \u0432 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0435 \u0441\u043a\u0440\u044b\u0442\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0438. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u044f \u043c\u0443\u0437\u044b\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u043b\u0430\u0432\u043d\u044b\u0445 \u00ab\u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432\u00bb \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u043c\u0438. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c VAE.<\/p>\n<p>  \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 VAE \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u0442 \u00ab\u0441\u043a\u0440\u044b\u0442\u044b\u0439\u00bb \u043a\u043e\u0434 (latent code). \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0431\u043e\u0440\u043e\u0442\u044c\u0441\u044f \u0441 \u044d\u0442\u0438\u043c \u0447\u0435\u0440\u0435\u0437 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440. \u0412\u044b\u0445\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u0443\u0441\u043e\u0447\u043a\u0438 (\u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u0443\u0437\u044b\u043a\u0443 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u043b\u0438 \u043d\u0430 \u0442\u0430\u043a\u0442\u044b). \u00ab\u0421\u043a\u0440\u044b\u0442\u044b\u0439\u00bb \u043a\u043e\u0434 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434 \u0432\u0435\u0440\u0445\u043d\u0435\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u043c\u0443 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0434\u043b\u044f \u0442\u0430\u043a\u0442\u0430. \u0410 \u0437\u0430\u0442\u0435\u043c LSTM \u043d\u0438\u0436\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u0442\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0430\u043a\u0442\u0430. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0437\u0430\u0431\u044b\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043b\u0443\u0447\u0448\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c\u0443 \u043a\u0443\u0441\u043e\u0447\u043a\u0443.<\/p>\n<p>  \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 bidirectional LSTM. \u0421\u043a\u0440\u044b\u0442\u044b\u0435 \u0441\u043b\u043e\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d5d\/31e\/e7d\/d5d31ee7d3bce74b2e3c2bf54b34f007.svg\" alt=\"$\\overrightarrow h_T$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fa6\/a9c\/a82\/fa6a9ca82afe83f868a467635cde389f.svg\" alt=\"$\\overleftarrow h_T$\" data-tex=\"inline\"><\/math> \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4ec\/3e2\/363\/4ec3e23638b6073b649999485c251c94.svg\" alt=\"$z$\" data-tex=\"inline\"><\/math>:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c49\/f8f\/89f\/c49f8f89f488286f79ac90711d692557.svg\" alt=\"$\\mu = W_{h\\mu} h_T + b_\\mu$\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/288\/107\/16e\/28810716e4a1f5f35062160083022e15.svg\" alt=\"$\\sigma = log\\left(exp\\left(W_{h\\sigma} h_T + b_\\sigma\\right)+1\\right)$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u041e\u0431\u0449\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0441\u0435\u0442\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/0n\/tv\/mt\/0ntvmtd3hv06iftpynmoc3xjg6o.png\"><\/p>\n<p>  \u0414\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Lakh MIDI Dataset, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 midi-\u0444\u0430\u0439\u043b\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0435\u043a\u0438 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 4\/4. \u041d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445 (\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0434\u0432\u0443\u0445 \u0442\u0430\u043a\u0442\u043e\u0432) \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e MusicVAE \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c VAE. \u041e\u0434\u043d\u0430\u043a\u043e \u0443\u0436\u0435 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 16 \u0442\u0430\u043a\u0442\u043e\u0432, \u0434\u043e\u043b\u044f \u043e\u0448\u0438\u0431\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e VAE \u0431\u043e\u043b\u0435\u0435 27%, \u0430 \u0434\u043b\u044f \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 5-11%. \u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u0430\u0432\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u043c\u0443\u0437\u044b\u043a\u0438.<\/p>\n<p>  \u041d\u0430 \u0437\u0430\u043a\u0443\u0441\u043a\u0443: \u043d\u0430\u0434 latent code \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043b\u044f 5 \u043c\u0443\u0437\u044b\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a (C diatonic membership, note density, average interval, 16th and 8th note syncopation). \u041a \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u043c\u043e\u0436\u043d\u043e \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a, \u0438 \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u0430\u044f \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430, \u0431\u0443\u0434\u0435\u0442 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0432\u0435\u0441\u0430 \u0431\u043e\u043b\u0435\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u0435\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0435.<\/p>\n<h2><a href=\"https:\/\/arxiv.org\/abs\/1804.00779\">3. Neural Autoregressive Flows<\/a><\/h2>\n<p>  \u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 VAE \u0432\u0430\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/951\/8f7\/fac\/9518f7fac42e2926998ed5e9bfa741fb.svg\" alt=\"$q(z|x)$\" data-tex=\"inline\"><\/math>, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u0442 \u0435\u0433\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0438\u0436\u043d\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f. \u0425\u043e\u0440\u043e\u0448\u0435\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c:<\/p>\n<p>  \u2013 \u041e\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u0438\u0431\u043a\u043e\u0435 (\u0432 \u0438\u0434\u0435\u0430\u043b\u0435 \u2013 \u043c\u043e\u0436\u0435\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435).<br \/>  \u2013 \u0418\u0437 \u043d\u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0443.<br \/>  \u2013 \u0423 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435.<br \/>  \u2013 \u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0440\u0430\u0441\u0442\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>  \u041e\u0434\u0438\u043d \u0438\u0437 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e \u0442\u0430\u043a\u0438\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432 \u2014 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0442\u043e\u043a\u0438. \u041e\u043d\u0438 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0437\u0430\u043c\u0435\u043d\u044b \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445: \u0435\u0441\u043b\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/289\/a7a\/210\/289a7a2101da9af41e701ec2de958d6b.svg\" alt=\"$\\varepsilon$\" data-tex=\"inline\"><\/math> \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u043e\u0439 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/12a\/b92\/a58\/12ab92a586fb3d91b2b9c1e1ca0dc58c.svg\" alt=\"$f$\" data-tex=\"inline\"><\/math>, \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/162\/7b0\/f9d\/1627b0f9d61311ad48171976987f64f7.svg\" alt=\"$f(\\varepsilon)$\" data-tex=\"inline\"><\/math> \u0440\u0430\u0432\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/619\/363\/760\/61936376066206788d5fe5991099d96f.svg\" alt=\"$p(\\varepsilon) \\det(J^{-1})$\" data-tex=\"inline\"><\/math>, \u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bd0\/d95\/1f3\/bd0d951f37c26136e20b48ee13ee70d2.svg\" alt=\"$J$\" data-tex=\"inline\"><\/math> \u2013 \u044f\u043a\u043e\u0431\u0438\u0430\u043d \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/12a\/b92\/a58\/12ab92a586fb3d91b2b9c1e1ca0dc58c.svg\" alt=\"$f$\" data-tex=\"inline\"><\/math>. \u0412\u044b\u0431\u0440\u0430\u0432 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044c \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0430, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0448\u0443\u043c.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/dm\/1q\/gxdm1qxww8u6chqln5mviz9sp5u.png\"><\/p>\n<p>  \u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 (<a href=\"https:\/\/arxiv.org\/abs\/1609.03499\">Inverse Autoregressive Flow<\/a>) \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442  \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/289\/a7a\/210\/289a7a2101da9af41e701ec2de958d6b.svg\" alt=\"$\\varepsilon$\" data-tex=\"inline\"><\/math> \u043f\u043e\u0434\u0432\u0435\u0440\u0433\u0430\u0435\u0442\u0441\u044f \u0430\u0444\u0444\u0438\u043d\u043d\u043e\u043c\u0443 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, MADE \u0438\u043b\u0438 PixelCNN), \u0441\u043c\u043e\u0442\u0440\u044f\u0449\u0430\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ed4\/02f\/d63\/ed402fd638858b255a3412b9507f9ba8.svg\" alt=\"$\\varepsilon_j$\" data-tex=\"inline\"><\/math>, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/573\/9b1\/fe5\/5739b1fe52e724dcce1248f6420a52a0.svg\" alt=\"$j &lt; i$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fc\/kp\/rm\/fckprmrwudjnawyh2pqjkqskqh8.png\"><\/p>\n<p>  \u0417\u0430 \u0441\u0447\u0435\u0442 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0441\u0435\u0442\u0438, \u044f\u043a\u043e\u0431\u0438\u0430\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0438\u0436\u043d\u0435\u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u044b\u0439, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0435\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044c \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>  IAF \u2013 \u043c\u043e\u0449\u043d\u043e\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e, \u043d\u043e \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u0444\u0444\u0438\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u043e\u043d\u043e \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p>  <b>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0434\u0435\u0438 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438<\/b><\/p>\n<p>  \u2013 \u0412\u043c\u0435\u0441\u0442\u043e \u0430\u0444\u0444\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 IAF \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0438\u043d\u0438\u0430\u0442\u044e\u0440\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0441 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u044b\u043c\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/h4\/bb\/ks\/h4bbksl0ytkqh-5_35bxkh56w2s.png\"><\/p>\n<p>  \u2013 \u041f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0439\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u0439 \u043f\u043e\u0442\u043e\u043a \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vk\/b0\/hw\/vkb0hw_hfjopiqrmfsisqipg7w0.png\"><\/p>\n<p>  \u2013 \u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u044b \u0434\u0432\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0441\u0435\u0442\u0435\u0439 \u0438 \u043e\u043f\u0438\u0441\u0430\u043d \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e conditional batch normalization.<\/p>\n<p>  \u2013 \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e NAF \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0449\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2a\/ie\/et\/2aieetj6h_rqy53jp8q_zu4el-c.png\"><\/p>\n<h2><a href=\"http:\/\/proceedings.mlr.press\/v80\/lehtinen18a\/lehtinen18a.pdf\">4. Noise2Noise: Learning Image Restoration without Clean Data<\/a><\/h2>\n<p>  \u0415\u0441\u043b\u0438 \u043e\u0434\u043d\u043e\u0439 \u0444\u0440\u0430\u0437\u043e\u0439 \u2014 \u044d\u0442\u043e super-resolution \u0431\u0435\u0437 GAN&#8217;\u043e\u0432.<\/p>\n<p>  \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0437\u0430\u0434\u0430\u0447\u0435 super-resolution (\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u0442\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0438\u0437 \u0431\u043e\u043b\u0435\u0435 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u043e\u0439) \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u0432\u0445\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u0442\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435. \u041d\u043e \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442 \u0447\u0438\u0441\u0442\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439? \u042d\u0442\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0439 \u0441 \u0442\u0435\u043b\u0435\u0441\u043a\u043e\u043f\u043e\u0432, \u0441\u043d\u0438\u043c\u043a\u043e\u0432 \u041c\u0420\u0422 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0438\u0434\u0435\u044f \u2013 \u044d\u0442\u043e \u0443\u0447\u0438\u0442\u044c \u0441\u0435\u0442\u044c \u043d\u0430 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445. \u041d\u043e \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0448\u0443\u043c \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0431\u044b\u043b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0443\u043b\u0435\u0432\u043e\u0439. \u0410\u0432\u0442\u043e\u0440\u044b \u0434\u0435\u043b\u0430\u044e\u0442 \u0432\u044b\u0432\u043e\u0434: &#171;&#8230;we can, in principle, corrupt the training targets of a neural network with zero-mean noise without changing what the network learns&#187;. \u041d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0445\u0443\u0436\u0435, \u0430 \u0438\u043d\u043e\u0433\u0434\u0430 \u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c state of the art. \u041a \u0442\u043e\u043c\u0443 \u0436\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rj\/we\/7o\/rjwe7o6ht8usyklgs6dmop4dgro.png\"><\/p>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043a\u0430\u0434\u0440\u0430\u043c\u0438 \u0438\u0437 \u0432\u0438\u0434\u0435\u043e, \u043e\u0434\u043d\u0430\u043a\u043e, \u0441\u0434\u0435\u043b\u0430\u0442\u044c super-resolution \u0432\u0438\u0434\u0435\u043e \u0443 \u043d\u0438\u0445 \u043f\u043e\u043a\u0430 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u2013 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u00ab\u043f\u0440\u044b\u0433\u0430\u0435\u0442\u00bb.<\/p>\n<h2><a href=\"http:\/\/proceedings.mlr.press\/v80\/esfandiari18a\/esfandiari18a.pdf\">5. Approximate k-core graph decomposition<\/a><\/h2>\n<p>  \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e ICML \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u043d\u0430 \u043d\u0435\u0438\u0306 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0438 \u043c\u043d\u043e\u0433\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u043f\u043e \u0441\u043c\u0435\u0436\u043d\u044b\u043c \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u043c. \u0422\u0430\u043a, \u043d\u0430 \u0441\u0435\u043a\u0446\u0438\u0438, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u043e\u0438\u0306 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u043c\u0438, \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0438\u0306 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0438\u0306 \u0434\u043e\u043a\u043b\u0430\u0434 \u043f\u043e \u0433\u0440\u0430\u0444\u0430\u043c.<\/p>\n<p>  \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0440\u0435\u0448\u0438\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 \u0433\u0440\u0430\u0444\u0435. \u0417\u0430\u0434\u0430\u0447\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u0430\u044f, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0435\u0435 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0438\u0306 \u043b\u043e\u0433\u0438\u043a\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u043c \u0434\u0430\u043d \u0433\u0440\u0430\u0444 \u0441\u0432\u044f\u0437\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0438\u0306, \u0430 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u043c \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438 (\u0431\u043e\u0442-\u0441\u0435\u0442\u0438, \u0444\u0440\u043e\u0434) \u0438\u043b\u0438 \u0432\u044b\u044f\u0432\u0438\u0442\u044c \u0441\u0432\u044f\u0437\u0438 \u0441 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430\u043c\u0438 \u043b\u044e\u0434\u0435\u0438\u0306.<br \/>  \u0414\u043b\u044f \u044d\u0442\u0438\u0445 \u0438 \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0438\u0306, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0433\u0440\u0430\u0444\u0430\u043c\u0438, \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u043e\u0438\u0306\u0434\u0435\u0442 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0438\u0306, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 k-core.<\/p>\n<p>  \u0412\u0430\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044e \u044d\u0442\u0438\u0445 k-core, \u043d\u043e \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e, \u0430 \u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0435\u0449\u0435 \u0438 \u043d\u0430 \u043f\u043e\u0442\u043e\u043a\u0435. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0438\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0431\u044b\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u044d\u0442\u043e\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u0435.<\/p>\n<p>  <b>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f<\/b><\/p>\n<p>  \u041f\u0443\u0441\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/84a\/8a8\/d6d\/84a8a8d6dec78959f7b0771c6277ae85.svg\" alt=\"$G = (V, E)$\" data-tex=\"inline\"><\/math> \u2013 \u043d\u0435\u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0438\u0306 \u0433\u0440\u0430\u0444 \u0441 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f7f\/ad7\/aee\/f7fad7aee7fb0d0700b7d87cb23f58f1.svg\" alt=\"$|V | = n$\" data-tex=\"inline\"><\/math> \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c\u0438 \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4d4\/370\/f56\/4d4370f565bd544762b03b134c8339aa.svg\" alt=\"$|E| = m$\" data-tex=\"inline\"><\/math> \u0440\u0435\u0431\u0440\u0430\u043c\u0438, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bd2\/36a\/859\/bd236a859d121c85d92d1acf80ba3597.svg\" alt=\"$H$\" data-tex=\"inline\"><\/math> \u2013 \u043f\u043e\u0434\u0433\u0440\u0430\u0444 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/560\/bd9\/7f2\/560bd97f235311a36dff00db005e6ab5.svg\" alt=\"$G$\" data-tex=\"inline\"><\/math>. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0438\u0306 \u0432\u0435\u0440\u0448\u0438\u043d\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bfb\/dbe\/6c5\/bfbdbe6c5faeade070acfacc72410494.svg\" alt=\"$v \u2208 G$\" data-tex=\"inline\"><\/math> \u043c\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0447\u0435\u0440\u0435\u0437 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/563\/0ea\/405\/5630ea40573d156d3e20e07aac27f120.svg\" alt=\"$d(v)$\" data-tex=\"inline\"><\/math> \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u044d\u0442\u043e\u0438\u0306 \u0432\u0435\u0440\u0448\u0438\u043d\u044b, \u0430 \u0434\u043b\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/eda\/f62\/ddc\/edaf62ddc4c5075af081988454856a42.svg\" alt=\"$v \u2208 H$\" data-tex=\"inline\"><\/math> \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043a\u0430\u043a <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/584\/68d\/6ae\/58468d6ae2d84e074447fdd087150858.svg\" alt=\"$dH (v)$\" data-tex=\"inline\"><\/math> \u2013 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1c1\/778\/187\/1c1778187263268cc347012d16da61e2.svg\" alt=\"$v$\" data-tex=\"inline\"><\/math> \u0432 \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bd2\/36a\/859\/bd236a859d121c85d92d1acf80ba3597.svg\" alt=\"$H$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-Core \u2013 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0438\u0306 \u043f\u043e\u0434\u0433\u0440\u0430\u0444 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/723\/053\/981\/7230539817527ed2e2fe9d68ef2a1568.svg\" alt=\"$H \u2208 G$\" data-tex=\"inline\"><\/math>, \u0442\u0430\u043a\u043e\u0438\u0306 \u0447\u0442\u043e \u0434\u043b\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/eda\/f62\/ddc\/edaf62ddc4c5075af081988454856a42.svg\" alt=\"$\u2200v \u2208 H$\" data-tex=\"inline\"><\/math> \u0438\u043c\u0435\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2fd\/d7c\/a5b\/2fdd7ca5b42d4152eb2f8682681f617f.svg\" alt=\"$dH(v) \u2265 k$\" data-tex=\"inline\"><\/math>, \u0438\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u2013 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043b\u044e\u0431\u043e\u0438\u0306 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043d\u0435 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>. \u0422\u0430\u043a \u0436\u0435 \u0442\u0430\u043a\u043e\u0438\u0306 \u0433\u0440\u0430\u0444 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-\u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u044b\u043c.<\/p>\n<p>  \u0413\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e \u0432\u0435\u0440\u0448\u0438\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1c1\/778\/187\/1c1778187263268cc347012d16da61e2.svg\" alt=\"$v$\" data-tex=\"inline\"><\/math> \u0438\u043c\u0435\u0435\u0442 coreness number <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d35\/626\/29e\/d3562629e7373c5e8a9f5e2f029aa394.svg\" alt=\"$CG(v) = k$\" data-tex=\"inline\"><\/math>, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u043d\u0436\u0438\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-core, \u043d\u043e \u043d\u0435 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/932\/e9b\/2af\/932e9b2af48adb6b659ec73fd4e98c6f.svg\" alt=\"$(k + 1)$\" data-tex=\"inline\"><\/math>-core.<\/p>\n<p>  Core labeling \u0433\u0440\u0430\u0444\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/560\/bd9\/7f2\/560bd97f235311a36dff00db005e6ab5.svg\" alt=\"$G$\" data-tex=\"inline\"><\/math> \u2013 \u0433\u0440\u0430\u0444, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u0430 \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u0430 \u0441\u0432\u043e\u0438\u043c coreness number. \u0421\u0442\u043e\u0438\u0442\u044c \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e core labeling \u0443\u043d\u0438\u043a\u0430\u043b\u0435\u043d \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/560\/bd9\/7f2\/560bd97f235311a36dff00db005e6ab5.svg\" alt=\"$G$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3e4\/c77\/a6e\/3e4c77a6e7c579a778fa84a18b6f4be0.svg\" alt=\"$1\u2212\u03b5$\" data-tex=\"inline\"><\/math> Approximate <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-core \u2013 \u043f\u043e\u0434\u0433\u0440\u0430\u0444 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bd2\/36a\/859\/bd236a859d121c85d92d1acf80ba3597.svg\" alt=\"$H$\" data-tex=\"inline\"><\/math> \u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/560\/bd9\/7f2\/560bd97f235311a36dff00db005e6ab5.svg\" alt=\"$G$\" data-tex=\"inline\"><\/math> \u0442\u0430\u043a\u043e\u0438\u0306, \u0447\u0442\u043e <math>$inline$\u2200v \u2208 H dH(v) \u2265 (1 \u2212 \u03b5)k$inline$<\/math>.<\/p>\n<p>  \u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u043d\u0438\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b 3\u2212core \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/624\/730\/48b\/62473048bc3e141b62d6dbb5a6f7d7a3.svg\" alt=\"$2\/3$\" data-tex=\"inline\"><\/math>-approximate 3-core.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pt\/zp\/e0\/ptzpe0yv-jzcok8npkagrqxbnbq.png\"><\/p>\n<p>  <b>\u0418\u0434\u0435\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/b><\/p>\n<p>  \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u043b\u0435\u0436\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0431\u043e\u043b\u0435\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0442\u044c \u0440\u0435\u0431\u0440\u0430 \u0432 \u043f\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u0438 \u043c\u0435\u043d\u0435\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0432 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445.<\/p>\n<p>  \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430:<\/p>\n<p>  \u2013 \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u043c \u0440\u0435\u0431\u0440\u0430 \u0438\u0437 \u0433\u0440\u0430\u0444\u0430 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math>;<br \/>  \u2013 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0438\u0306 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0435\u0435 coreness number, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0435\u043c core labeling, \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0438\u0306 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-core, \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u0441\u0435 \u0435\u0433\u043e \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0432 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cb6\/d45\/cf9\/cb6d45cf916546ae1085088c0c5dcd09.svg\" alt=\"$S$\" data-tex=\"inline\"><\/math>;<br \/>  \u2013 \u0443\u0434\u0430\u043b\u044f\u0435\u043c \u0438\u0437 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/560\/bd9\/7f2\/560bd97f235311a36dff00db005e6ab5.svg\" alt=\"$G$\" data-tex=\"inline\"><\/math> \u0432\u0441\u0435 \u0440\u0435\u0431\u0440\u0430, \u043e\u0431\u0430 \u043a\u043e\u043d\u0446\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cb6\/d45\/cf9\/cb6d45cf916546ae1085088c0c5dcd09.svg\" alt=\"$S$\" data-tex=\"inline\"><\/math>;<br \/>  \u2013 \u043f\u0440\u043e\u0434\u0435\u043b\u044b\u0432\u0430\u0435\u043c \u0432\u0441\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math> \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430, \u043f\u043e\u043a\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<p>  \u041f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/ht\/yw\/gxhtywhtykjkuhh-lj_0wm9a6ee.png\"><\/p>\n<p>  \u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0438\u0306 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0438\u0434\u0435\u043e\u043b\u043e\u0433\u0438\u0438 MapReduce \u0434\u043b\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438\u0306.<\/p>\n<p>  \u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043f\u0440\u0438 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0438\u0306 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/af7\/494\/809\/af74948093aba66e10dbea24483a1924.svg\" alt=\"$p_0 = 12log(n)\/\u03b5^2n$\" data-tex=\"inline\"><\/math> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/225\/ca8\/669\/225ca8669fbd3b123638121cd4efd81a.svg\" alt=\"$2log(n)$\" data-tex=\"inline\"><\/math> \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438\u0306. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u0438\u0306 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0443\u0442\u0435\u043c \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0431\u0435\u0440 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0438\u0306 \u043f\u043e\u0434\u0433\u0440\u0430\u0444 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fb6\/752\/5a9\/fb67525a9f5b01aa4574c1a65082996c.svg\" alt=\"$H_0$\" data-tex=\"inline\"><\/math>. \u041d\u0430 \u0432\u0442\u043e\u0440\u043e\u0438\u0306 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0438\u0306 \u043c\u0430\u0448\u0438\u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c core labeling <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fb6\/752\/5a9\/fb67525a9f5b01aa4574c1a65082996c.svg\" alt=\"$H_0$\" data-tex=\"inline\"><\/math>. \u0421\u043e\u0445\u0440\u0430\u043d\u0438\u043c \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c core number \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u0435\u0442\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cb6\/d45\/cf9\/cb6d45cf916546ae1085088c0c5dcd09.svg\" alt=\"$S$\" data-tex=\"inline\"><\/math>. \u041d\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u0438\u0306 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u044b\u043b\u0430\u0435\u043c \u0432\u0441\u0435\u043c \u043c\u0430\u0448\u0438\u043d\u0430\u043c \u0441\u0435\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cb6\/d45\/cf9\/cb6d45cf916546ae1085088c0c5dcd09.svg\" alt=\"$S$\" data-tex=\"inline\"><\/math> \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u043c \u0438\u0437 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fb6\/752\/5a9\/fb67525a9f5b01aa4574c1a65082996c.svg\" alt=\"$H_0$\" data-tex=\"inline\"><\/math> \u0440\u0435\u0431\u0440\u0430, \u043e\u0431\u0430 \u043a\u043e\u043d\u0446\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cb6\/d45\/cf9\/cb6d45cf916546ae1085088c0c5dcd09.svg\" alt=\"$S$\" data-tex=\"inline\"><\/math>, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c65\/203\/8c7\/c652038c74fe6b65ed08478fe7cbce1a.svg\" alt=\"$H_1$\" data-tex=\"inline\"><\/math>. \u0414\u0430\u043b\u0435\u0435 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/06c\/d45\/6f9\/06cd456f9fc5bfb47cefeed614aa37a9.svg\" alt=\"$p_1 = 2p_0$\" data-tex=\"inline\"><\/math> \u043f\u0440\u043e\u0434\u0435\u043b\u044b\u0432\u0430\u0435\u043c \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/225\/ca8\/669\/225ca8669fbd3b123638121cd4efd81a.svg\" alt=\"$2log(n)$\" data-tex=\"inline\"><\/math> \u0440\u0430\u0437.<\/p>\n<p>  \u041f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ft\/if\/nt\/ftifntjgcnn8bkunoxlo1aymjvu.png\"><\/p>\n<p>  <b>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435<\/b><\/p>\n<p>  \u0412\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043f\u043e\u0438\u0441\u043a\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432 \u043d\u0430 \u0433\u0440\u0430\u0444\u0435. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0433\u0440\u0430\u0444 \u0441\u043e\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0438\u0306. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0433\u0440\u0430\u0444, \u0433\u0434\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u043c \u0432 \u0441\u043e\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0438\u0306 \u0441\u0435\u0442\u0438, \u0430 \u0440\u0435\u0431\u0440\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 \u0432 \u0434\u0440\u0443\u0437\u044c\u044f. \u0422\u0430\u043a \u0436\u0435 \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u043e \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0442\u043e\u043c, \u0433\u0434\u0435 \u0434\u0430\u043d\u043d\u044b\u0438\u0306 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f (\u0433\u043e\u0440\u043e\u0434, \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442, \u0444\u0430\u043a\u0443\u043b\u044c\u0442\u0435\u0442, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0433\u0440\u0443\u043f\u043f\u0430).<\/p>\n<p>  \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u043d\u0443\u044e \u043d\u0430\u043c\u0438 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u044e \u0441 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-core \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u044f\u0434\u0440\u0430 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442 \u0433\u0440\u0443\u043f\u043f\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0438\u0306 \u0443\u0447\u0438\u0442\u0441\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442, \u2013 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u0437\u043a\u043e\u0435, \u043d\u043e \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0438\u0306 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0432\u044f\u0437\u0435\u0438\u0306 \u0432 \u043d\u0435\u043c. \u042f\u0434\u0440\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043d\u0438\u0436\u0435 \u043e\u0442\u0440\u0430\u0437\u0438\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u2013 \u0441\u0432\u044f\u0437\u0435\u0438\u0306 \u0432 \u0446\u0435\u043b\u043e\u043c \u043c\u0435\u043d\u044c\u0448\u0435, \u043d\u043e \u043e\u043d\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043b\u043e\u0442\u043d\u044b\u0435. \u0414\u0432\u0438\u0433\u0430\u044f\u0441\u044c \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u0444\u0430\u043a\u0443\u043b\u044c\u0442\u0435\u0442\u0430, \u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0430.<\/p>\n<p>  \u042d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0438\u0306 \u0438\u0434\u0435\u0438 \u0434\u043b\u044f \u0441\u043f\u0430\u043c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043c\u0435\u043d\u0435\u0435 \u044f\u0432\u043d\u043e\u0438\u0306, \u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0430 \u043f\u043e \u0441\u0443\u0442\u0438. \u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043e \u0442\u043e\u043c \u043a\u0430\u043a\u0438\u0435 \u044f\u0434\u0440\u0430 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438, \u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 \u00ab\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0438\u0306 \u043f\u043e\u0440\u044f\u0434\u043e\u043a <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-core, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u00bb, \u00ab\u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math>-core \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u00bb, \u0430 \u0442\u0430\u043a \u0436\u0435 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0441 \u0431\u043b\u0438\u0436\u0430\u0438\u0306\u0448\u0438\u043c\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0442\u044c \u043f\u0440\u0438 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432 \u0438 \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 \u0431\u043e\u0442-\u0441\u0435\u0442\u0435\u0438\u0306.<\/p>\n<h2>\u0412\u043c\u0435\u0441\u0442\u043e \u044d\u043f\u0438\u043b\u043e\u0433\u0430<\/h2>\n<p>  \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043b\u0438\u0448\u044c \u043e \u043f\u044f\u0442\u0438 \u0434\u043e\u043a\u043b\u0430\u0434\u0430\u0445, \u043d\u043e \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 ICML \u0438\u0445 \u0431\u044b\u043b\u043e \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435. \u0415\u0441\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0442\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442, \u0442\u043e \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0435\u0433\u043e \u0438 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c.<\/div>\n<p>        <script class=\"js-mediator-script\">!function(e){function t(t,n){if(!(n in e)){for(var r,a=e.document,i=a.scripts,o=i.length;o--;)if(-1!==i[o].src.indexOf(t)){r=i[o];break}if(!r){r=a.createElement(\"script\"),r.type=\"text\/javascript\",r.async=!0,r.defer=!0,r.src=t,r.charset=\"UTF-8\";var d=function(){var e=a.getElementsByTagName(\"script\")[0];e.parentNode.insertBefore(r,e)};\"[object Opera]\"==e.opera?a.addEventListener?a.addEventListener(\"DOMContentLoaded\",d,!1):e.attachEvent(\"onload\",d):d()}}}t(\"\/\/mediator.mail.ru\/script\/2820404\/\",\"_mediator\")}(window);<\/script>     <br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/company\/yandex\/blog\/418421\/\"> https:\/\/habr.com\/company\/yandex\/blog\/418421\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div data-io-article-url=\"https:\/\/habr.com\/company\/yandex\/blog\/418421\/\" class=\"post__text post__text-html js-mediator-article\">\u0421 10 \u043f\u043e 15 \u0438\u044e\u043b\u044f \u0432 \u0421\u0442\u043e\u043a\u0433\u043e\u043b\u044c\u043c\u0435 \u043f\u0440\u043e\u0448\u043b\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f ICML, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0445 \u0432 \u043c\u0438\u0440\u0435 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412 \u044d\u0442\u043e\u043c \u0433\u043e\u0434\u0443 \u0435\u0435 \u043f\u043e\u0441\u0435\u0442\u0438\u043b\u043e \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u2013 7000. \u0421\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u0431\u044b\u043b\u0438 \u0438 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0438 \u042f\u043d\u0434\u0435\u043a\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 CatBoost \u0438 DeepHD, \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u0422\u043e\u043b\u043e\u043a\u0430, \u0414\u0437\u0435\u043d \u0438 \u041f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0431\u0435\u0441\u043f\u0438\u043b\u043e\u0442\u043d\u044b\u0445 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u0435\u0439 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043e\u043d\u0438 \u043f\u043e\u0434\u0435\u043b\u044f\u0442\u0441\u044f \u0441 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0425\u0430\u0431\u0440\u0430 \u043f\u043e\u0434\u0431\u043e\u0440\u043a\u043e\u0439 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043b\u0438\u0441\u044c \u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/di\/nw\/0-\/dinw0-7n4w0qychmluy33lbn_44.jpeg\"><\/p>\n<p>  \u041a\u0441\u0442\u0430\u0442\u0438, \u043d\u0430 \u0444\u043e\u0442\u043e \u0432\u044b\u0448\u0435 \u0448\u0443\u0442\u043a\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u2013 \u044d\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c \u0438\u0437 \u043f\u0438\u0441\u0435\u043c \u0442\u0435\u0445, \u043a\u0442\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b \u0441\u0432\u043e\u0439 \u0434\u043e\u043a\u043b\u0430\u0434 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044e. \u0422\u043e\u0447\u043d\u0435\u0435, \u0438\u0437 \u043f\u0438\u0441\u0435\u043c \u0441 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 \u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u043a\u0443 \u0440\u0435\u0446\u0435\u043d\u0437\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0432\u0435\u043b\u0438 \u043a \u043f\u0440\u0438\u0451\u043c\u0443 \u0434\u043e\u043a\u043b\u0430\u0434\u0430. \u0422\u0443\u0442 \u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u00ab\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439\u00bb \u043e\u0442\u0432\u0435\u0442, \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u043e \u043c\u044b \u043e\u0442\u0432\u043b\u0435\u043a\u043b\u0438\u0441\u044c, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u043e\u0431\u0437\u043e\u0440\u0443 \u043f\u044f\u0442\u0438 \u043b\u0443\u0447\u0448\u0438\u0445 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 (\u0432\u0441\u0435 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043a\u043b\u0438\u043a\u0430\u0431\u0435\u043b\u044c\u043d\u044b \u0438 \u0432\u0435\u0434\u0443\u0442 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u043e\u043a\u043b\u0430\u0434\u0447\u0438\u043a\u043e\u0432).   <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-287858","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/287858","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=287858"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/287858\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=287858"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=287858"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=287858"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}