{"id":348531,"date":"2023-06-08T15:08:40","date_gmt":"2023-06-08T15:08:40","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=348531"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=348531","title":{"rendered":"<span>SBER-MoVQGAN \u0438\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 Image Encoder \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40b\/eae\/01f\/40beae01f5d9984d6003890c045b4d89.png\" width=\"2000\" height=\"1428\"><\/figure>\n<p>\u0412\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0441\u0442\u0430\u043b\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0441\u043f\u0435\u043a\u0442\u0440\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 (<a href=\"https:\/\/github.com\/Stability-AI\/stablediffusion\"><u>Stable Diffusion<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2111.14822.pdf\"><u>VQ Diffusion<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2104.10157.pdf\"><u>VideoGPT<\/u><\/a> \u0438 \u0434\u0440.). VQVAE \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0436\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 RGB-\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u041e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 VQVAE \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0448\u0438\u0440\u043e\u043a\u043e\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0432 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445 (<a href=\"https:\/\/arxiv.org\/pdf\/2102.12092.pdf\"><u>DALLE<\/u><\/a>, <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/586926\/\"><u>ruDALL-E<\/u><\/a>, <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/733470\/\"><u>RUDOLPH<\/u><\/a>), \u0442\u0430\u043a \u0438 \u0432 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (<a href=\"https:\/\/arxiv.org\/pdf\/2204.06125.pdf\"><u>DALL-E 2<\/u><\/a>, <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/725282\/\"><u>Kandinsky 2.1<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2112.10752.pdf\"><u>Latent Diffusion<\/u><\/a>). \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 VQVAE \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043c\u0430\u043b\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 (\u0432\u0432\u0438\u0434\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0448\u0430\u0433\u043e\u0432 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0438, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043f\u0438\u043a\u0441\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0435\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438.&nbsp;<\/p>\n<p>\u0412\u043e \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e VQVAE. \u041f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u043c\u044b \u0443\u0436\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0438 SBER-VQGAN, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0434\u0430\u0432\u0430\u043b \u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 c dVAE \u0438 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u043c VQGAN. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 \u044d\u0442\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/581738\/\"><u>\u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435<\/u><\/a>. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043d\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0442\u0435\u043a\u0441\u0442 \u0438 \u043b\u0438\u0446\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043f\u043e\u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c SBER-VQGAN, \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0432 SoTA \u0441\u0440\u0435\u0434\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. <\/p>\n<h3>\u0422\u043e\u043f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f<\/h3>\n<p>\u0412 2022 \u0433\u043e\u0434\u0443 \u0432\u044b\u0448\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044e VQGAN, \u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 <a href=\"https:\/\/arxiv.org\/pdf\/2110.04627.pdf\"><u>ViT-VQGAN<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2203.01941.pdf\"><u>RQ-VAE<\/u><\/a> \u0438 <a href=\"https:\/\/arxiv.org\/pdf\/2209.09002.pdf\"><u>MoVQ<\/u><\/a>.&nbsp;<\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2110.04627.pdf\"><u>ViT-VQGAN<\/u><\/a> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0435\/\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0435 Vision Transformer (ViT) \u0432\u043c\u0435\u0441\u0442\u043e CNN. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 ViT-VQGAN \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043f\u0430\u0442\u0447\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a 8&#215;8 \u0432 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438. \u0414\u0435\u043a\u043e\u0434\u0435\u0440 ViT-VQGAN \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0432 \u043f\u0430\u0442\u0447\u0438 8&#215;8, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f: \u0444\u0430\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u043e\u0432 (\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0430 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 768 \u0432 32-\u043c\u0435\u0440\u043d\u043e\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u043e\u0432) \u0438 L2 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u043e\u0432 (\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 <em>z_e(x)<\/em> \u0438 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438 <em>e<\/em>). \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 ViT-VQGAN \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043b\u0443\u0447\u0448\u0438\u0435 FID \u0438 IS \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c VQGAN.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2203.01941.pdf\"><u>RQ-VAE<\/u><\/a> \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 residual \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0431\u0435\u0437 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438. \u0421\u0443\u0442\u044c \u0435\u0451 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 D. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0448\u0430\u0433\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e. \u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0448\u0430\u0433\u0430\u0445 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043e\u0442 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, residual \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0438 \u0442\u0430\u043a \u0438 \u0431\u043e\u043b\u0435\u0435 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u043a\u043e\u0434\u043e\u0432\u0430\u044f \u043a\u043d\u0438\u0433\u0430. \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e RQ-VAE \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 VQGAN \u043f\u043e FID \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041f\u0440\u0438\u0447\u0451\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0433\u043b\u0443\u0431\u0438\u043d\u044b D: \u0447\u0435\u043c \u043e\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/pdf\/2209.09002.pdf\"><u>MoVQ<\/u><\/a> \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0432 \u0431\u043b\u043e\u043a\u0430\u0445 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. Spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u0435\u0439 \u0441\u0432\u043e\u0431\u043e\u0434\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u043f\u043e\u0441\u043b\u0435 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c \u043f\u043e \u0441\u043b\u043e\u044f\u043c \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u0422\u0430\u043a\u0436\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044f \u0435\u0433\u043e \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u0435\u0439 \u043f\u043e \u043a\u0430\u043d\u0430\u043b\u0430\u043c \u0438 \u043a\u043e\u0434\u0438\u0440\u0443\u044f \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u042d\u0442\u0438 \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438 \u0441 16384 \u0434\u043e 1024. MoVQGAN \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c FID, SSIM, PSNR \u0438 LPIPS.&nbsp;<\/p>\n<p>\u041f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0432 \u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c MoVQGAN \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c\u0438. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, MoVQGAN \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f SoTA \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439 \u0441\u0440\u0435\u0434\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u043e\u0439 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u043e\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 ViT-VQGAN (\u0441\u0430\u043c\u0430\u044f \u0431\u043b\u0438\u0437\u043a\u0430\u044f \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c) \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u0430 \u043a \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043f\u043e\u0434\u0430\u0432\u0430\u0435\u043c\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438, \u0447\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.&nbsp;<\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SBER-MoVQGAN<\/h3>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SBER-MoVQGAN \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 VQGAN \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 MoVQ. \u0421\u0440\u0435\u0434\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0430\u0436\u043d\u044b\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<ul>\n<li>\n<p>&nbsp;\u0432\u0441\u0442\u0440\u043e\u0435\u043d\u044b EMA \u0432\u0435\u0441\u0430 (exponential moving average);&nbsp;<\/p>\n<\/li>\n<li>\n<p>&nbsp;\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u044b \u043b\u043e\u0441\u0441\u044b \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043d\u0438\u0436\u0435).&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 SBER-MoVQGAN \u0432\u0437\u044f\u043b\u0438 \u043a\u043e\u0434 \u0438\u0437 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e <a href=\"https:\/\/github.com\/CompVis\/taming-transformers\"><u>\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f VQGAN<\/u><\/a>. \u041a\u043e\u0434 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 SBER-MoVQGAN \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/github.com\/ai-forever\/MoVQGAN\"><u>Github<\/u><\/a>.<\/p>\n<p>Spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043f\u043e\u0434\u043e\u0431\u043d\u043e <a href=\"https:\/\/arxiv.org\/pdf\/1812.04948.pdf\"><u>AdaIN<\/u><\/a> \u0441\u043b\u043e\u044f\u043c (Adaptive Instance Normalization), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 StyleGAN. AdaIN \u0441\u043b\u043e\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c style transfer \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f scale \u0438 bias \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u0442\u0438\u043b\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u044d\u0442\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c spatially conditional \u043a\u0430\u0440\u0442\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043a\u0430\u043a \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. Spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (1):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"F^{i}=\\phi _{\\gamma}(z_{q})\\frac{F^{i-1}-\\mu (F^{i-1})}{\\sigma(F^{i-1})}+\\phi _{\\beta }(z_{q})\" alt=\"F^{i}=\\phi _{\\gamma}(z_{q})\\frac{F^{i-1}-\\mu (F^{i-1})}{\\sigma(F^{i-1})}+\\phi _{\\beta }(z_{q})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d1c\/c0a\/371\/d1cc0a37168c66c63c70cab9730f2d6d.svg\" width=\"313\" height=\"51\"><\/p>\n<p>\u0433\u0434\u0435 <em>F<sup>i-1<\/sup><\/em> \u2014 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, <em>\u03bc(\u2219)<\/em> \u0438 <em>\u03c3(\u2219)<\/em> \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f (\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f GroupNorm), <em>\u03c6<sub>\u03b3<\/sub><\/em>(<em>\u2219<\/em>) \u0438 <em>\u03c6<sub>\u03b2<\/sub><\/em>(<em>\u2219<\/em>) \u2014 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0430\u0444\u0444\u0438\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a \u0441\u0432\u0451\u0440\u0442\u043a\u0438 1&#215;1, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <em>z<sub>q<\/sub><\/em> \u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f scale \u0438 bias. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u044d\u0442\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e-\u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0438 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 1 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0441\u0445\u0435\u043c\u0430 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043d\u0438\u044f spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0431\u043b\u043e\u043a\u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e39\/399\/336\/e39399336a64629f738595ee0c2dc8b9.png\" alt=\"\u0420\u0438\u0441. 1. Spatially conditional-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f [1]  \" title=\"\u0420\u0438\u0441. 1. Spatially conditional-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f [1]  \" width=\"1358\" height=\"528\"><\/p>\n<div><figcaption>\u0420\u0438\u0441. 1. Spatially conditional-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f [1]  <\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c (\u043b\u043e\u0441\u0441) \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f VQGAN, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438, \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u043e\u0445\u043e, \u0447\u0442\u043e \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u0445\u043e\u0440\u043e\u0448\u0435\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435. \u0412 \u0445\u043e\u0434\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0447\u0435\u043d\u043e, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 ViT-VQGAN, \u0434\u0430\u0451\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 SBER-MoVQGAN. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (2):  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"L=1,0L_{VQ}+0,1L_{Adv}+0,1L_{perc}+1,0L_{2}+1,0L_{NLL}\" alt=\"L=1,0L_{VQ}+0,1L_{Adv}+0,1L_{perc}+1,0L_{2}+1,0L_{NLL}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f2\/5c8\/953\/2f25c8953577cc1da9b85998a91ffcb5.svg\" width=\"456\" height=\"22\"><\/p>\n<p>\u0433\u0434\u0435 <em>L<sub>VQ<\/sub><\/em> \u2014 codebook loss, <em>L<sub>Adv<\/sub><\/em> \u2014 adversarial loss, <em>L<sub>perc<\/sub><\/em> \u2014 perceptual loss,  \u2014 reconstruction loss, <em>L<sub>NLL<\/sub><\/em> \u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u0451\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (0,1<em>L<sub>perc<\/sub><\/em>+1,0<em>L<sub>2<\/sub><\/em>). \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0439 \u0432\u0435\u0441 \u0434\u043b\u044f <em>L<sub>Adv<\/sub><\/em> \u0438  <em>L<sub>NLL<\/sub><\/em>, \u043e\u0434\u043d\u0430\u043a\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043f\u043b\u043e\u0445\u0443\u044e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c, \u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u044b \u043e\u0442 \u043d\u0435\u0433\u043e \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c.<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 EMA \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 SBER-MoVQGAN \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0440\u0430\u0441\u0447\u0451\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438. SBER-MoVQGAN \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c ema_decay 0,9999. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f 99,99 % \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e 0,01 % \u0432\u0435\u0441\u043e\u0432. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, EMA \u0432\u0435\u0441\u0430 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0435\u0439 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0431\u043e\u0440\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. EMA \u0432\u0435\u0441\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432, \u0438 \u0432 \u0438\u0442\u043e\u0433\u0435 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 SBER-MoVQGAN.<\/p>\n<p>\u0412\u044b\u0448\u0435 \u0431\u044b\u043b\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 VQGAN, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c SoTA \u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0431\u044b\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c L2 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u043e\u0432 \u0432 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0435, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u043d\u0430 Gumbel \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440, \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432 spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u043d\u043e \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043e\u043d\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0447\u0443\u0442\u044c \u0445\u0443\u0436\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u043d\u0430 \u043d\u0438\u0445 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<h2>\u0412\u0435\u0440\u0441\u0438\u0438 SBER-MoVQGAN \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h2>\n<p>\u041c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0442\u0440\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 SBER-MoVQGAN \u2014 67M, 102M, 270M. \u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f 67M \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0442\u0430\u043a\u043e\u0439 \u0436\u0435, \u043a\u0430\u043a \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 VQGAN. \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043b\u0438\u0448\u044c \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0448\u0435. \u0410 \u0432\u043e\u0442 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 102M \u0438 270M \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041c\u043e\u0434\u0435\u043b\u044c 102M \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 Residual \u0431\u043b\u043e\u043a\u043e\u0432 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 67M, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c 270M \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e. \u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043d\u0430 1xA100 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u043d\u0435\u0434\u0435\u043b\u044c, \u0438 \u0437\u0430 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u043d\u0430 \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e. \u0411\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043d\u0430 8xA100. \u0412\u0435\u0440\u0441\u0438\u044f 102M \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u0437\u0430 \u0447\u0435\u0442\u044b\u0440\u0435 \u043d\u0435\u0434\u0435\u043b\u0438, \u0430 \u0432\u0435\u0440\u0441\u0438\u044f 270M \u2014 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u043d\u0435\u0434\u0435\u043b\u044c \u043d\u0430 8xA100, \u0438 \u0437\u0430\u0442\u0435\u043c \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 10 \u0434\u043d\u0435\u0439 \u2014 \u043d\u0430 32xA100. \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 1. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0442\u0440\u0451\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 SBER-MoVQGAN \u0431\u0443\u0434\u0443\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0438\u0436\u0435. \u0412\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 <a href=\"https:\/\/huggingface.co\/datasets\/laion\/laion-high-resolution\"><u>LAION HighRes<\/u><\/a>.<\/p>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1. \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043c\u043e\u0434\u0435\u043b\u044f\u0445 SBER-MoVQGAN.<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>GPU<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Train steps<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SBER-MoVQGAN 67M<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 Residual-\u0431\u043b\u043e\u043a\u0430 x channels<\/p>\n<\/td>\n<td>\n<p align=\"left\">1xA100<\/p>\n<\/td>\n<td>\n<p align=\"left\">2M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SBER-MoVQGAN 102M<\/p>\n<\/td>\n<td>\n<p align=\"left\">4 Residual-\u0431\u043b\u043e\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">8xA100<\/p>\n<\/td>\n<td>\n<p align=\"left\">2,3M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SBER-MoVQGAN 270M<\/p>\n<\/td>\n<td>\n<p align=\"left\">x2 channels<\/p>\n<\/td>\n<td>\n<p align=\"left\">8xA100 \u0438&nbsp;32xA100<\/p>\n<\/td>\n<td>\n<p align=\"left\">920K \u0438 410K<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h2>\n<p>SBER-MoVQGAN \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u0432\u0443\u043c\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438. \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0430 FID \u043f\u043e \u0434\u043e\u043c\u0435\u043d\u0430\u043c \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 MS COCO \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u043e\u0441\u044c \u0441 \u0440\u0430\u043d\u0435\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c SBER-VQGAN. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f COCO \u043d\u0430\u0431\u043e\u0440\u0430 \u043f\u043e \u0434\u043e\u043c\u0435\u043d\u0430\u043c \u0438 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u043d\u0430\u0448\u0435\u0439 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/581738\/\"><u>\u0441\u0442\u0430\u0442\u044c\u0435<\/u><\/a>. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 2 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0442\u0440\u0451\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 SBER-MoVQGAN, \u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u0432\u0441\u0435 \u0442\u0440\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0445\u043e\u0434\u044f\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0443\u044e \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u043e\u0441\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c FID, SSIM, PSNR \u0438 L1 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u043e\u0441\u044c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 Imagenet. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 SSIM \u0438 PSNR \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/habr.com\/ru\/articles\/126848\/\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>, \u043f\u0440\u043e FID \u2014 \u0432 \u044d\u0442\u043e\u0439 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/725282\/\"><u>\u0441\u0442\u0430\u0442\u044c\u0435<\/u><\/a>. \u041e\u0442\u043c\u0435\u0442\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e FID \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0415\u0441\u043b\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0442\u043e FID \u0440\u0430\u0432\u0435\u043d 0. SSIM \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u043e \u0442\u0440\u0451\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c: \u044f\u0440\u043a\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. \u041e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0442 -1 \u0434\u043e 1, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0447\u0435\u043c \u0432\u044b\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u043d\u0438\u0436\u0435 \u0438\u0441\u043a\u0430\u0436\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0432\u044b\u0448\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. PSNR \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0430\u044f \u043f\u0438\u043a\u043e\u0432\u043e\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\/\u0448\u0443\u043c. PSNR \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0438\u0441\u043a\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u0440\u0438 \u0441\u0436\u0430\u0442\u0438\u0438 \u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043f\u043e\u0434\u0441\u0447\u0451\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 (MSE); \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043e\u0442 0 \u0434\u043e 100. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 L1 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u043f\u0438\u043a\u0441\u0435\u043b\u044c\u043d\u043e \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443. \u0415\u0441\u043b\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b, \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430 0.&nbsp;<\/p>\n<p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0445 3 \u0438 4 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 ViT-VQGAN, RQVAE, MoVQGAN, VQGAN, KL-VAE, SBER-VQGAN \u0438 SBER-MoVQGAN \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c FID, SSIM, PSNR \u0438 L1 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 Imagenet \u0438 FFHQ. \u0414\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 \u0442\u0440\u0451\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a \u0432\u0437\u044f\u0442\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0438\u0437 \u0441\u0442\u0430\u0442\u0435\u0439, \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u044b \u0441\u0430\u043c\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 (\u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 VQGAN \u0438 KL-VAE \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b \u0431\u044b\u043b\u0438 \u0432\u0437\u044f\u0442\u044b \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f <a href=\"https:\/\/github.com\/CompVis\/latent-diffusion\"><u>latent-diffusion<\/u><\/a>). \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 SBER-MoVQGAN \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439.<\/p>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2. \u041e\u0446\u0435\u043d\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 FID \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 MS COCO, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c \u043f\u043e \u0434\u043e\u043c\u0435\u043d\u0430\u043c (\u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435).<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\">\u0414\u043e\u043c\u0435\u043d\/\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<td>\n<p align=\"center\">SBER-VQGAN<\/p>\n<\/td>\n<td>\n<p align=\"center\">SBER-MOVQGAN 67M<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\">SBER-MOVQGAN 102M<\/p>\n<\/td>\n<td>\n<p align=\"center\">SBER-MOVQGAN 270M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><u>all<\/u><\/p>\n<\/td>\n<td>\n<p align=\"left\"><u>30.136<\/u><\/p>\n<\/td>\n<td>\n<p align=\"left\"><u>18.4724<\/u><\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\"><u>17.081<\/u><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><u>16.448<\/u><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">indoor<\/p>\n<\/td>\n<td>\n<p align=\"left\">44.686<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.509<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">24.274<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>23.164<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">kitchen<\/p>\n<\/td>\n<td>\n<p align=\"left\">36.579<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.508<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">21.019<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>20.164<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">appliance<\/p>\n<\/td>\n<td>\n<p align=\"left\">52.064<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.145<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">25.167<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>23.686<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">electronic<\/p>\n<\/td>\n<td>\n<p align=\"left\">50.447<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.417<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">27.08<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>25.743<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">furniture<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.569<\/p>\n<\/td>\n<td>\n<p align=\"left\">18.211<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">16.909<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>16.271<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">outdoor<\/p>\n<\/td>\n<td>\n<p align=\"left\">45.287<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.438<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">26.155<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>24.959<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">sports<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.756<\/p>\n<\/td>\n<td>\n<p align=\"left\">19.04<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">17.727<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>17.256<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">food<\/p>\n<\/td>\n<td>\n<p align=\"left\">41.413<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.001<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">23.221<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>22.754<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">vehicle<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.463<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.095<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">15.616<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>15.101<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">animal<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.078<\/p>\n<\/td>\n<td>\n<p align=\"left\">21.217<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">19.777<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>18.745<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">accessory<\/p>\n<\/td>\n<td>\n<p align=\"left\">44.454<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.467<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">25.342<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>24.524<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">person<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.484<\/p>\n<\/td>\n<td>\n<p align=\"left\">9.48<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">8.753<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>8.528<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">face<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.750<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.746<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">15.545<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>15.076<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">text<\/p>\n<\/td>\n<td>\n<p align=\"left\">21.148<\/p>\n<\/td>\n<td>\n<p align=\"left\">12.883<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">11.834<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>11.392<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 3. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 SBER-MoVQGAN \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c FID, SSIM, PSNR, L1 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 Imagenet. * \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0437\u044f\u0442\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0438\u0437 \u0441\u0442\u0430\u0442\u0435\u0439.<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"center\"><strong><sup>\u041c\u043e\u0434\u0435\u043b\u044c<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"center\"><strong><sup>Latent size<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"center\"><strong><sup>Num Z<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"center\"><strong><sup>Compression<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"center\"><strong><sup>Train steps<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"center\"><strong><sup>FID \u2193<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"center\"><strong><sup>SSIM \u2191<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"center\"><strong><sup>PSNR \u2191<\/sup><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong><sup>L1<\/sup> <sup>\u2193<\/sup><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><a href=\"https:\/\/arxiv.org\/pdf\/2110.04627.pdf\"><sup><u>ViT-VQGAN<\/u><\/sup><\/a><sup>* 128 TPUv4<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>8192<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>500000<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.28<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>&#8212;<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>&#8212;<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>&#8212;<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><a href=\"https:\/\/arxiv.org\/pdf\/2203.01941.pdf\"><sup><u>RQ-VAE<\/u><\/sup><\/a><sup>*<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>8x8x16<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>10 epochs<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.83<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><a href=\"https:\/\/arxiv.org\/pdf\/2209.09002.pdf\"><sup><u>Mo-VQGAN<\/u><\/sup><\/a><sup>* 4 Tesla V100<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>16x16x4<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>1024<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>16<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>40 epochs<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.12<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.6731<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>22.42<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><sup>VQ<\/sup> <a href=\"https:\/\/github.com\/CompVis\/latent-diffusion\"><sup><u>CompVis<\/u><\/sup><\/a><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>971043<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.34<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.6499<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>23.8469<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0533<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><sup>KL <\/sup><a href=\"https:\/\/github.com\/CompVis\/latent-diffusion\"><sup><u>CompVis<\/u><\/sup><\/a><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>&#8212;<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>246803<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.9682<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.6918<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>25.1121&nbsp;<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0474<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/581738\/\"><sup><u>SBER-VQGAN<\/u><\/sup><\/a><sup>&nbsp;(from pretrain <\/sup><a href=\"https:\/\/heibox.uni-heidelberg.de\/d\/2e5662443a6b4307b470\/\"><sup>vqgan_gumbel_f8<\/sup><\/a><sup>)<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>8192<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>1 epoch<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.4378<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.6816<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>24.3135<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0503<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><sup>SBER-MoVQGAN 67M&nbsp;<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>1024<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>5M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.34<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.7041<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>25.6778<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0451<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><sup>SBER-MoVQGAN 67M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>2M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.9647<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.7249<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>26.4485<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0415<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><sup>SBER-MoVQGAN 102M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>2360k<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.7764<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.7373<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><sup>26.8887<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0398<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"168\" width=\"168\">\n<p align=\"left\"><sup>SBER-MoVQGAN 270M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"90\" width=\"90\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"89\" width=\"89\">\n<p align=\"left\"><sup>1330k<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><strong><sup>0.6858<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><strong><sup>0.7411<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"59\" width=\"59\">\n<p align=\"left\"><strong><sup>27.0370<\/sup><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><sup>0.0393<\/sup><\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 4. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 SBER-MoVQGAN \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c FID, SSIM, PSNR \u0438 L1 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 FFHQ. * \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0437\u044f\u0442\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0438\u0437 \u0441\u0442\u0430\u0442\u0435\u0439.<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"center\"><strong><sup>\u041c\u043e\u0434\u0435\u043b\u044c<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"center\"><strong><sup>Latent size<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"center\"><strong><sup>Num Z<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"center\"><strong><sup>Compression<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"center\"><strong><sup>Train steps<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"center\"><strong><sup>FID \u2193<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"center\"><strong><sup>SSIM \u2191<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"center\"><strong><sup>PSNR \u2191<\/sup><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong><sup>L1 \u2193<\/sup><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><a href=\"https:\/\/arxiv.org\/pdf\/2110.04627.pdf\"><sup><u>ViT-VQGAN<\/u><\/sup><\/a><sup>* 128 TPUv4<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>8192<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>500000<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>3.13<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><a href=\"https:\/\/arxiv.org\/pdf\/2203.01941.pdf\"><sup><u>RQ-VAE<\/u><\/sup><\/a><sup>*<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>16x16x4<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>2048<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>16<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>10 epochs<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>3.88<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.7602<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>24.53<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>&#8212;<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><a href=\"https:\/\/arxiv.org\/pdf\/2209.09002.pdf\"><sup><u>Mo-VQGAN<\/u><\/sup><\/a><sup>* 4 Tesla V100<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>16x16x4<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>1024<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>16<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>40 epochs<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>2.26<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.8212<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>26.72<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><sup>VQ <\/sup><a href=\"https:\/\/github.com\/CompVis\/latent-diffusion\"><sup><u>CompVis<\/u><\/sup><\/a><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>971043<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>2.9858<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.7648<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>27.2309<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0330<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><sup>KL <\/sup><a href=\"https:\/\/github.com\/CompVis\/latent-diffusion\"><sup><u>CompVis<\/u><\/sup><\/a><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>&#8212;<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>246803<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>2.0428<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.8071<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>28.7890<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0285<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/581738\/\"><sup><u>SBER-VQGAN<\/u><\/sup><\/a><sup>&nbsp;(from pretrain <\/sup><a href=\"https:\/\/heibox.uni-heidelberg.de\/d\/2e5662443a6b4307b470\/\"><sup>vqgan_gumbel_f8<\/sup><\/a><sup>)<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>8192<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>1 epoch<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>3.3081<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.7912<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>27.5646<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0323<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><sup>SBER-MoVQGAN 67M&nbsp;<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>1024<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>5M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>2.5829<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.8063<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>28.9378<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0284<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><sup>SBER-MoVQGAN 67M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>2M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.9980<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.8248<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>29.8859<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0253<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><sup>SBER-MoVQGAN 102M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>2360k<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.8245<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.8340<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>30.3245<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0241<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"169\" width=\"169\">\n<p align=\"left\"><sup>SBER-MoVQGAN 270M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"70\" width=\"70\">\n<p align=\"left\"><sup>32&#215;32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"73\" width=\"73\">\n<p align=\"left\"><sup>16384<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p align=\"left\"><sup>8<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><sup>1330k<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>1.7592<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\"><sup>0.8365<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><sup>30.4576<\/sup><\/p>\n<\/td>\n<td>\n<p align=\"left\"><sup>0.0238<\/sup><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0432\u0441\u0435\u0445 \u0442\u0440\u0451\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 SBER-MoVQGAN, \u0438 \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438, \u0447\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c 270\u041c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 67M, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0439 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0437\u0430\u043c\u0435\u0440\u043e\u0432 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 \u0431\u0430\u0442\u0447\u0435 1 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 5.&nbsp;<\/p>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 5. \u0412\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 SBER-MoVQGAN.<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Inference time<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">f=8, SBER-MoVQGAN 67M<\/p>\n<\/td>\n<td>\n<p align=\"left\">23,1 \u043c\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">f=8, SBER-MoVQGAN 102M<\/p>\n<\/td>\n<td>\n<p align=\"left\">33,6 \u043c\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">f=8, SBER-MoVQGAN 270M<\/p>\n<\/td>\n<td>\n<p align=\"left\">23,6 \u043c\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0441\u0435 \u0442\u0440\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 SBER-MoVQGAN \u043e\u0442 67\u041c \u0434\u043e 270\u041c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u043e\u0439 SoTA \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 (\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 SoTA \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0431\u044b\u043b <a href=\"https:\/\/arxiv.org\/pdf\/2209.09002.pdf\"><u>MoVQ<\/u><\/a>).&nbsp;<\/p>\n<h2>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0439 SBER-MoVQGAN<\/h2>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432\u0441\u0435\u043c\u0438 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438 SBER-MoVQGAN, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043d\u0430 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0438 256&#215;256, \u0432 \u0442\u0430\u043a\u0438\u0445 \u0442\u0440\u0443\u0434\u043d\u043e\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u043a\u0430\u043a \u043b\u0438\u0446\u0430, \u0442\u0435\u043a\u0441\u0442 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u0446\u0435\u043d\u044b. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0431\u044b\u043b\u0438 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u043c\u0435\u0442\u0440\u0438\u043a\u0438 MSE \u0438 MAE \u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c \u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c. \u0418 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 SBER-MoVQGAN \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430\u0448\u0435\u0439 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 SBER-VQGAN. \u0422\u0430\u043a\u0436\u0435 \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e SBER-MoVQGAN \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0438 256&#215;256, \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0447\u0435\u043c \u043e\u043d\u043e \u0432\u044b\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a.&nbsp;<\/p>\n<p><em>\u0414\u043e\u043c\u0435\u043d\u044b \u043b\u0438\u0446\u043e, \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u0442\u043e\u043b\u043f\u0430:<\/em><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/990\/97a\/f97\/99097af977b1b43d81aea96ab85aab43.jpg\" width=\"667\" height=\"1001\"><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c8\/65f\/01c\/3c865f01c26bc8f0e17b1c31eee48af4.jpg\" width=\"678\" height=\"804\"><\/figure>\n<p><em>\u0414\u043e\u043c\u0435\u043d \u0442\u0435\u043a\u0441\u0442:<\/em><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c11\/813\/c61\/c11813c619c5c29294aa4a698c857568.jpg\" width=\"666\" height=\"1006\"><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6c\/4e7\/843\/e6c4e784398cc4d1b1c4ad48e2e2f494.jpg\" width=\"676\" height=\"814\"><\/figure>\n<p><em>\u0414\u043e\u043c\u0435\u043d \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u0446\u0435\u043d\u044b:<\/em><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ae\/361\/7d6\/9ae3617d615248b91160d58ca55ee96b.jpg\" width=\"661\" height=\"1003\"><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/00e\/cc8\/3c9\/00ecc83c9286fd13b6e4efaacf750856.jpg\" width=\"665\" height=\"808\"><\/figure>\n<h2>\u0412\u044b\u0432\u043e\u0434\u044b \u0438 \u043f\u043b\u0430\u043d\u044b<\/h2>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043d\u0430\u043c \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043e\u0431\u0443\u0447\u0438\u0442\u044c SoTA \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445: \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043a\u0430\u043a \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. SBER-MoVQGAN 67M \u0431\u044b\u043b \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0432\u043d\u0435\u0434\u0440\u0451\u043d \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/725282\/\"><u>Kandinsky 2.1<\/u><\/a> \u0438 \u0441\u0442\u0430\u043b \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0431\u043b\u043e\u043a\u043e\u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0439 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443. \u0412 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e SBER-MoVQGAN \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041a\u043e\u0434 \u0438 \u0432\u0435\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/github.com\/ai-forever\/MoVQGAN\"><u>Github<\/u><\/a> \u0438 <a href=\"https:\/\/huggingface.co\/ai-forever\/MoVQGAN\"><u>Huggingface<\/u><\/a>.<\/p>\n<p><em>\u041a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432 \u0430\u0432\u0442\u043e\u0440\u043e\u0432: <\/em><a href=\"https:\/\/t.me\/cene655\"><em><u>\u0410\u0440\u0441\u0435\u043d\u0438\u0439 \u0428\u0430\u0445\u043c\u0430\u0442\u043e\u0432<\/u><\/em><\/a><em>, <\/em><a href=\"https:\/\/t.me\/NastyaMittseva\"><em><u>\u0410\u043d\u0430\u0441\u0442\u0430\u0441\u0438\u044f \u041c\u0430\u043b\u044c\u0446\u0435\u0432\u0430<\/u><\/em><\/a><em>, <\/em><a href=\"https:\/\/t.me\/kuznetsoff87\"><em>\u0410\u043d\u0434\u0440\u0435\u0439 \u041a\u0443\u0437\u043d\u0435\u0446\u043e\u0432<\/em><\/a><em>, <\/em><a href=\"https:\/\/t.me\/dendimitrov\"><em><u>\u0414\u0435\u043d\u0438\u0441 \u0414\u0438\u043c\u0438\u0442\u0440\u043e\u0432<\/u><\/em><\/a><em>.<\/em><\/p>\n<\/p>\n<\/div>\n<\/div>\n<p> <!----> <!----><\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/740624\/\"> https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/740624\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<figure class=\"full-width\"><\/figure>\n<p>\u0412\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0441\u0442\u0430\u043b\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0441\u043f\u0435\u043a\u0442\u0440\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 (<a href=\"https:\/\/github.com\/Stability-AI\/stablediffusion\"><u>Stable Diffusion<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2111.14822.pdf\"><u>VQ Diffusion<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2104.10157.pdf\"><u>VideoGPT<\/u><\/a> \u0438 \u0434\u0440.). VQVAE \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0436\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 RGB-\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u041e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 VQVAE \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0448\u0438\u0440\u043e\u043a\u043e\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0432 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445 (<a href=\"https:\/\/arxiv.org\/pdf\/2102.12092.pdf\"><u>DALLE<\/u><\/a>, <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/586926\/\"><u>ruDALL-E<\/u><\/a>, <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/733470\/\"><u>RUDOLPH<\/u><\/a>), \u0442\u0430\u043a \u0438 \u0432 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (<a href=\"https:\/\/arxiv.org\/pdf\/2204.06125.pdf\"><u>DALL-E 2<\/u><\/a>, <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/725282\/\"><u>Kandinsky 2.1<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2112.10752.pdf\"><u>Latent Diffusion<\/u><\/a>). \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 VQVAE \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043c\u0430\u043b\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 (\u0432\u0432\u0438\u0434\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0448\u0430\u0433\u043e\u0432 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0438, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043f\u0438\u043a\u0441\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0435\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438.&nbsp;<\/p>\n<p>\u0412\u043e \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e VQVAE. \u041f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u043c\u044b \u0443\u0436\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0438 SBER-VQGAN, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0434\u0430\u0432\u0430\u043b \u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 c dVAE \u0438 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u043c VQGAN. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 \u044d\u0442\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/581738\/\"><u>\u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435<\/u><\/a>. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043d\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0442\u0435\u043a\u0441\u0442 \u0438 \u043b\u0438\u0446\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043f\u043e\u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c SBER-VQGAN, \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0432 SoTA \u0441\u0440\u0435\u0434\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. <\/p>\n<h3>\u0422\u043e\u043f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f<\/h3>\n<p>\u0412 2022 \u0433\u043e\u0434\u0443 \u0432\u044b\u0448\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044e VQGAN, \u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 <a href=\"https:\/\/arxiv.org\/pdf\/2110.04627.pdf\"><u>ViT-VQGAN<\/u><\/a>, <a href=\"https:\/\/arxiv.org\/pdf\/2203.01941.pdf\"><u>RQ-VAE<\/u><\/a> \u0438 <a href=\"https:\/\/arxiv.org\/pdf\/2209.09002.pdf\"><u>MoVQ<\/u><\/a>.&nbsp;<\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2110.04627.pdf\"><u>ViT-VQGAN<\/u><\/a> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0435\/\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0435 Vision Transformer (ViT) \u0432\u043c\u0435\u0441\u0442\u043e CNN. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 ViT-VQGAN \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043f\u0430\u0442\u0447\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a 8&#215;8 \u0432 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438. \u0414\u0435\u043a\u043e\u0434\u0435\u0440 ViT-VQGAN \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0432 \u043f\u0430\u0442\u0447\u0438 8&#215;8, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f: \u0444\u0430\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u043e\u0432 (\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0430 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 768 \u0432 32-\u043c\u0435\u0440\u043d\u043e\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u043e\u0432) \u0438 L2 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u043e\u0432 (\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 <em>z_e(x)<\/em> \u0438 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438 <em>e<\/em>). \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 ViT-VQGAN \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043b\u0443\u0447\u0448\u0438\u0435 FID \u0438 IS \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c VQGAN.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2203.01941.pdf\"><u>RQ-VAE<\/u><\/a> \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 residual \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0431\u0435\u0437 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438. \u0421\u0443\u0442\u044c \u0435\u0451 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 D. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0448\u0430\u0433\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e. \u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0448\u0430\u0433\u0430\u0445 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043e\u0442 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, residual \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0438 \u0442\u0430\u043a \u0438 \u0431\u043e\u043b\u0435\u0435 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u043a\u043e\u0434\u043e\u0432\u0430\u044f \u043a\u043d\u0438\u0433\u0430. \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e RQ-VAE \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 VQGAN \u043f\u043e FID \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041f\u0440\u0438\u0447\u0451\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0433\u043b\u0443\u0431\u0438\u043d\u044b D: \u0447\u0435\u043c \u043e\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/pdf\/2209.09002.pdf\"><u>MoVQ<\/u><\/a> \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0432 \u0431\u043b\u043e\u043a\u0430\u0445 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. Spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u0435\u0439 \u0441\u0432\u043e\u0431\u043e\u0434\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u043f\u043e\u0441\u043b\u0435 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c \u043f\u043e \u0441\u043b\u043e\u044f\u043c \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u0422\u0430\u043a\u0436\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044f \u0435\u0433\u043e \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u0435\u0439 \u043f\u043e \u043a\u0430\u043d\u0430\u043b\u0430\u043c \u0438 \u043a\u043e\u0434\u0438\u0440\u0443\u044f \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u042d\u0442\u0438 \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438 \u0441 16384 \u0434\u043e 1024. MoVQGAN \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c FID, SSIM, PSNR \u0438 LPIPS.&nbsp;<\/p>\n<p>\u041f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0432 \u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c MoVQGAN \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c\u0438. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, MoVQGAN \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f SoTA \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439 \u0441\u0440\u0435\u0434\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u043e\u0439 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u043e\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 ViT-VQGAN (\u0441\u0430\u043c\u0430\u044f \u0431\u043b\u0438\u0437\u043a\u0430\u044f \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c) \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u0430 \u043a \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043f\u043e\u0434\u0430\u0432\u0430\u0435\u043c\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438, \u0447\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.&nbsp;<\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SBER-MoVQGAN<\/h3>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SBER-MoVQGAN \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 VQGAN \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 MoVQ. \u0421\u0440\u0435\u0434\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0430\u0436\u043d\u044b\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<ul>\n<li>\n<p>&nbsp;\u0432\u0441\u0442\u0440\u043e\u0435\u043d\u044b EMA \u0432\u0435\u0441\u0430 (exponential moving average);&nbsp;<\/p>\n<\/li>\n<li>\n<p>&nbsp;\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u044b \u043b\u043e\u0441\u0441\u044b \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043d\u0438\u0436\u0435).&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 SBER-MoVQGAN \u0432\u0437\u044f\u043b\u0438 \u043a\u043e\u0434 \u0438\u0437 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e <a href=\"https:\/\/github.com\/CompVis\/taming-transformers\"><u>\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f VQGAN<\/u><\/a>. \u041a\u043e\u0434 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 SBER-MoVQGAN \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/github.com\/ai-forever\/MoVQGAN\"><u>Github<\/u><\/a>.<\/p>\n<p>Spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043f\u043e\u0434\u043e\u0431\u043d\u043e <a href=\"https:\/\/arxiv.org\/pdf\/1812.04948.pdf\"><u>AdaIN<\/u><\/a> \u0441\u043b\u043e\u044f\u043c (Adaptive Instance Normalization), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 StyleGAN. AdaIN \u0441\u043b\u043e\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c style transfer \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f scale \u0438 bias \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u0442\u0438\u043b\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u044d\u0442\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c spatially conditional \u043a\u0430\u0440\u0442\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043a\u0430\u043a \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. Spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (1):<\/p>\n<p>\u0433\u0434\u0435 <em>F<sup>i-1<\/sup><\/em> \u2014 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, <em>\u03bc(\u2219)<\/em> \u0438 <em>\u03c3(\u2219)<\/em> \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f (\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f GroupNorm), <em>\u03c6<sub>\u03b3<\/sub><\/em>(<em>\u2219<\/em>) \u0438 <em>\u03c6<sub>\u03b2<\/sub><\/em>(<em>\u2219<\/em>) \u2014 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0430\u0444\u0444\u0438\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a \u0441\u0432\u0451\u0440\u0442\u043a\u0438 1&#215;1, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <em>z<sub>q<\/sub><\/em> \u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f scale \u0438 bias. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u044d\u0442\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e-\u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0438 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 1 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0441\u0445\u0435\u043c\u0430 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043d\u0438\u044f spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0431\u043b\u043e\u043a\u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441. 1. Spatially conditional-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f [1]  <\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c (\u043b\u043e\u0441\u0441) \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f VQGAN, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438, \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u043e\u0445\u043e, \u0447\u0442\u043e \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u0445\u043e\u0440\u043e\u0448\u0435\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435. \u0412 \u0445\u043e\u0434\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0447\u0435\u043d\u043e, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 ViT-VQGAN, \u0434\u0430\u0451\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 SBER-MoVQGAN. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (2):  <\/p>\n<p>\u0433\u0434\u0435 <em>L<sub>VQ<\/sub><\/em> \u2014 codebook loss, <em>L<sub>Adv<\/sub><\/em> \u2014 adversarial loss, <em>L<sub>perc<\/sub><\/em> \u2014 perceptual loss,  \u2014 reconstruction loss, <em>L<sub>NLL<\/sub><\/em> \u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u0451\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (0,1<em>L<sub>perc<\/sub><\/em>+1,0<em>L<sub>2<\/sub><\/em>). \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0439 \u0432\u0435\u0441 \u0434\u043b\u044f <em>L<sub>Adv<\/sub><\/em> \u0438  <em>L<sub>NLL<\/sub><\/em>, \u043e\u0434\u043d\u0430\u043a\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043f\u043b\u043e\u0445\u0443\u044e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c, \u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u044b \u043e\u0442 \u043d\u0435\u0433\u043e \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c.<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 EMA \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 SBER-MoVQGAN \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0440\u0430\u0441\u0447\u0451\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438. SBER-MoVQGAN \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c ema_decay 0,9999. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f 99,99 % \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e 0,01 % \u0432\u0435\u0441\u043e\u0432. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, EMA \u0432\u0435\u0441\u0430 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0435\u0439 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0431\u043e\u0440\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. EMA \u0432\u0435\u0441\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432, \u0438 \u0432 \u0438\u0442\u043e\u0433\u0435 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 SBER-MoVQGAN.<\/p>\n<p>\u0412\u044b\u0448\u0435 \u0431\u044b\u043b\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 VQGAN, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c SoTA \u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0431\u044b\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c L2 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u043e\u0432 \u0432 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0435, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u043d\u0430 Gumbel \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440, \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432 spatially conditional \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u043d\u043e \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043e\u043d\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0447\u0443\u0442\u044c \u0445\u0443\u0436\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u043d\u0430 \u043d\u0438\u0445 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<h2>\u0412\u0435\u0440\u0441\u0438\u0438 SBER-MoVQGAN \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h2>\n<p>\u041c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0442\u0440\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 SBER-MoVQGAN \u2014 67M, 102M, 270M. \u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f 67M \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0442\u0430\u043a\u043e\u0439 \u0436\u0435, \u043a\u0430\u043a \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 VQGAN. \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043b\u0438\u0448\u044c \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0448\u0435. \u0410 \u0432\u043e\u0442 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 102M \u0438 270M \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041c\u043e\u0434\u0435\u043b\u044c 102M \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 Residual \u0431\u043b\u043e\u043a\u043e\u0432 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 67M, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c 270M \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e. \u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043d\u0430 1xA100 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u043d\u0435\u0434\u0435\u043b\u044c, \u0438 \u0437\u0430 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u043d\u0430 \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e. \u0411\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043d\u0430 8xA100. \u0412\u0435\u0440\u0441\u0438\u044f 102M \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u0437\u0430 \u0447\u0435\u0442\u044b\u0440\u0435 \u043d\u0435\u0434\u0435\u043b\u0438, \u0430 \u0432\u0435\u0440\u0441\u0438\u044f 270M \u2014 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u043d\u0435\u0434\u0435\u043b\u044c \u043d\u0430 8xA100, \u0438 \u0437\u0430\u0442\u0435\u043c \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 10 \u0434\u043d\u0435\u0439 \u2014 \u043d\u0430 32xA100. \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 1. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0442\u0440\u0451\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 SBER-MoVQGAN \u0431\u0443\u0434\u0443\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0438\u0436\u0435. \u0412\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 <a href=\"https:\/\/huggingface.co\/datasets\/laion\/laion-high-resolution\"><u>LAION HighRes<\/u><\/a>.<\/p>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1. \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043c\u043e\u0434\u0435\u043b\u044f\u0445 SBER-MoVQGAN.<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>GPU<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Train steps<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SBER-MoVQGAN 67M<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 Residual-\u0431\u043b\u043e\u043a\u0430 x channels<\/p>\n<\/td>\n<td>\n<p align=\"left\">1xA100<\/p>\n<\/td>\n<td>\n<p align=\"left\">2M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SBER-MoVQGAN 102M<\/p>\n<\/td>\n<td>\n<p align=\"left\">4 Residual-\u0431\u043b\u043e\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">8xA100<\/p>\n<\/td>\n<td>\n<p align=\"left\">2,3M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SBER-MoVQGAN 270M<\/p>\n<\/td>\n<td>\n<p align=\"left\">x2 channels<\/p>\n<\/td>\n<td>\n<p align=\"left\">8xA100 \u0438&nbsp;32xA100<\/p>\n<\/td>\n<td>\n<p align=\"left\">920K \u0438 410K<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h2>\n<p>SBER-MoVQGAN \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u0432\u0443\u043c\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438. \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0430 FID \u043f\u043e \u0434\u043e\u043c\u0435\u043d\u0430\u043c \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 MS COCO \u0438<\/p>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-348531","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/348531","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=348531"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/348531\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=348531"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=348531"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=348531"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}