{"id":304075,"date":"2020-05-22T15:00:27","date_gmt":"2020-05-22T15:00:27","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=304075"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=304075","title":{"rendered":"\u0420\u0443\u0431\u0440\u0438\u043a\u0430 \u00ab\u0427\u0438\u0442\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u044c\u0438 \u0437\u0430 \u0432\u0430\u0441\u00bb. \u0410\u043f\u0440\u0435\u043b\u044c 2020. \u0427\u0430\u0441\u0442\u044c 1"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-tresnet-high-performance-gpu-dedicated-architecture\">TResNet: High Performance GPU-Dedicated Architecture (DAMO Academy, Alibaba Group, 2020)<\/a><\/li>\n<li><a href=\"#2-controllable-person-image-synthesis-with-attribute-decomposed-gan\">Controllable Person Image Synthesis with Attribute-Decomposed GAN (China, 2020)<\/a><\/li>\n<li><a href=\"#3-learning-to-see-through-obstructions\">Learning to See Through Obstructions (Taiwan, USA, 2020)<\/a><\/li>\n<li><a href=\"#4-tracking-objects-as-points\">Tracking Objects as Points (UT Austin, Intel Labs, 2020)<\/a><\/li>\n<li><a href=\"#5-cookgan-meal-image-synthesis-from-ingredients\">CookGAN: Meal Image Synthesis from Ingredients (USA, UK, 2020)<\/a><\/li>\n<li><a href=\"#6-designing-network-design-spaces\">Designing Network Design Spaces (FAIR, 2020)<\/a><\/li>\n<li><a href=\"#7-gradient-centralization-a-new-optimization-technique-for-deep-neural-networks\">Gradient Centralization: A New Optimization Technique for Deep Neural Networks (Hong Kong, Alibaba, 2020)<\/a><\/li>\n<li><a href=\"#8-when-does-unsupervised-machine-translation-work\">When Does Unsupervised Machine Translation Work? (Johns Hopkins University, USA, 2020)<\/a><\/li>\n<\/ol>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0441\u0431\u043e\u0440\u043d\u0438\u043a\u0438 \u0441\u0435\u0440\u0438\u0438:<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<ul>\n<li>2020 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/493016\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0424\u0435\u0432\u0440\u0430\u043b\u044c<\/a>, \u041c\u0430\u0440\u0442 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/496024\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/497268\/\">\u04472<\/a><\/li>\n<li>2019 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/471514\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/472672\/\">\u0418\u044e\u043b\u044c \u2014 \u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/485122\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u0414\u0435\u043a\u0430\u0431\u0440\u044c<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/352508\/\">\u0414\u0435\u043a\u0430\u0431\u0440\u044c 2017 \u2014 \u042f\u043d\u0432\u0430\u0440\u044c 2018<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/352518\/\">\u0424\u0435\u0432\u0440\u0430\u043b\u044c \u2014 \u041c\u0430\u0440\u0442 2018<\/a><\/li>\n<li>2017 \u0433\u043e\u0434: <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/336624\/\">\u0410\u0432\u0433\u0443\u0441\u0442<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/339094\/\">\u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/343822\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u041d\u043e\u044f\u0431\u0440\u044c<\/a> <\/li>\n<\/ul>\n<\/div><\/div>\n<p>  <\/p>\n<h3 id=\"1-tresnet-high-performance-gpu-dedicated-architecture\">1. TResNet: High Performance GPU-Dedicated Architecture<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Tal Ridnik, Hussam Lawen, Asaf Noy, Itamar Friedman (DAMO Academy, Alibaba Group, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2003.13630\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/mrT23\/TResNet\">GitHub project<\/a> :: <a href=\"https:\/\/drive.google.com\/drive\/folders\/1a4GqqQ24J3ct8WkOM6t0DqmX3BlkhUwC\">\u041f\u0440\u0435\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043d\u0434\u0440\u0435\u0439 \u041b\u0443\u043a\u044c\u044f\u043d\u0435\u043d\u043a\u043e (\u0432 \u0441\u043b\u044d\u043a\u0435 artgor, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/Artgor\/\">artgor<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0427\u0438\u0441\u0442\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043a\u0430\u043a \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u043d\u0435 \u0442\u0435\u0440\u044f\u044f \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u041d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c TResNet-XL \u0438\u043c\u0435\u0435\u0442 top-1 accuracy 84.3% \u043d\u0430 imagenet. \u0415\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u0441\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u0430 \u0441 Resnet50 \u043f\u043e gpu throughput, \u0442\u043e top-1 accuracy 80.7%<\/p>\n<p>  <\/p>\n<p>\u041c\u044b\u0441\u043b\u0438 \u043e \u0442\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u041c\u043d\u043e\u0433\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 depthwise \u0438 1\u04451 convolutions. \u042d\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 FLOPS, \u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e GPU \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b \u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0430 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c\u0438 \u043d\u0430 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435.<\/li>\n<li>\u041c\u043d\u043e\u0433\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 Multi-path, \u0447\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043c\u043d\u043e\u0433\u043e \u043a\u0430\u0440\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u0434\u043b\u044f backpropagation, \u0430 \u044d\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430. \u0410 \u0435\u0449\u0451 \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c inplace \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438.<\/li>\n<\/ol>\n<p>  <\/p>\n<p><strong>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0438\u0437\u0430\u0439\u043d\u0430.<\/strong><br \/>  \u0415\u0441\u0442\u044c 3 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b: TResNet-M, TResNet-L and TResNet-XL. \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u0430\u043d\u0430\u043b\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f: SpaceToDepth stem, Anti-Alias downsampling, In-Place Activated BatchNorm, Blocks selection and SE layers.<\/p>\n<p>  <\/p>\n<p><strong>Stem Design.<\/strong><br \/>  \u0423 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u043e\u0438\u0442 Stem Block \u2014 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 Resnet50 \u044d\u0442\u043e conv 7&#215;7, stride 2 + maxpooling, \u044d\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 224 \u0434\u043e 56. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0441\u043b\u043e\u0439 SpaceToDepth, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0434\u0435\u043b\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443, \u0430 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 conv 1&#215;1, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0430\u043d\u0430\u043b\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/0w\/4_\/fa\/0w4_fak1awhv4_v_hbnaniei6vy.png\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<p><strong>Anti-Alias Downsampling.<\/strong><br \/>  \u0417\u0430\u043c\u0435\u043d\u044f\u044e\u0442 \u0432\u0441\u0435 downscaling \u0441\u043b\u043e\u0439 \u043d\u0430 \u044d\u0442\u043e\u0442 \u043d\u043e\u0432\u044b\u0439 \u0441\u043b\u043e\u0439. \u0413\u043e\u0432\u043e\u0440\u044f\u0442, \u0442\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 shift-equivariance \u0438 \u0434\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0442\u0440\u0435\u0439\u0434\u043e\u0444\u0444 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438-\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/tj\/kr\/mn\/tjkrmnfohb_yyyu9bjb9moxw78e.png\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<p><strong>Inplace-ABN<\/strong><br \/>  Inplace-ABN \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0441\u0435 BatchNorm+ReLU \u0441\u043b\u043e\u0438. \u042d\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438. \u0415\u0449\u0451 \u0432\u043c\u0435\u0441\u0442\u043e ReLU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 Leaky-ReLU. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u043e\u0447\u0442\u0438 \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430, \u0430 \u0437\u0430\u043c\u0435\u043d\u0430 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0435\u0437 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438\u043b\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>  <\/p>\n<p><strong>Blocks Selection<\/strong><br \/>  \u0412 ResNet34 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f BasicBlocks \u0441 conv 3&#215;3, \u0432 ResNet50 Bottleneck \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 conv 1&#215;1 \u0438 \u043e\u0434\u043d\u043e\u0433\u043e conv 3&#215;3 \u2014 \u0432\u044b\u0448\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b GPU. \u0417\u0434\u0435\u0441\u044c \u0440\u0435\u0448\u0438\u043b\u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c: \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435 2 BasicBlock, \u0432 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u043d\u0446\u0435 2 Bottleneck.<\/p>\n<p>  <\/p>\n<p><strong>SE Layers<\/strong><br \/>  \u0412\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 SE \u0441\u043b\u043e\u0438 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0435 3 stage \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dw\/ju\/vo\/dwjuvo08tsgr4tlttu8uifsr9tu.png\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<p><strong>JIT Compilation<\/strong> \u0434\u043b\u044f \u0441\u043b\u043e\u0435\u0432, \u0433\u0434\u0435 \u043d\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u2014 \u0434\u043b\u044f AA blur filter and the SpaceToDepth. \u0423\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 GPU cost \u044d\u0442\u0438\u0445 \u0441\u043b\u043e\u0451\u0432 \u0432 2 \u0440\u0430\u0437\u0430.<\/p>\n<p>  <\/p>\n<p><strong>\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 Global Average Pooling<\/strong><br \/>  \u0422\u0443\u043f\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 view \u0438 mean \u0438\u0437 Pytorch \u0432\u043c\u0435\u0441\u0442\u043e AvgPool2d \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0434\u043e 5 \u0440\u0430\u0437<\/p>\n<p>  <\/p>\n<p><strong>Inplace Operations<\/strong><br \/>  \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u0445 \u0432\u0435\u0437\u0434\u0435, \u0433\u0434\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e: Inplace-ABN, residual connections, SE blocks, activations \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u042d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430.<\/p>\n<p>  <\/p>\n<p><strong>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b:<\/strong><br \/>  \u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f 224\u0445224, 300 \u044d\u043f\u043e\u0445, SGD \u0438 1-cycle policy. \u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f: Auto-augment, Cutout, Label-smooth and Trueweight-decay. \u0415\u0449\u0451 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0435 \u043f\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u043c ImageNet, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0442\u043e\u0431\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0431\u044b\u043b\u0438 \u043e\u0442 0 \u0434\u043e 1. \u0422\u0430\u043a \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 Resnet50 \u0438 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 TResNet.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/bw\/lw\/tx\/bwlwtx53b1elhmgw722ggndhclm.png\" width=\"400\" height=\"200\">  <\/p>\n<p>  <strong>Ablation Study<\/strong><br \/>  \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u043e\u043a\u0438\u043d\u0443\u043b\u0438 SE \u0441\u043b\u043e\u0438 \u0438 AA. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u043e\u043a\u0438\u043d\u0443\u043b\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0440\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>  <\/p>\n<h3 id=\"2-controllable-person-image-synthesis-with-attribute-decomposed-gan\">2. Controllable Person Image Synthesis with Attribute-Decomposed GAN<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Yifang Men, Yiming Mao, Yuning Jiang, Wei-Ying Ma, Zhouhui Lian (China, 2020)<br \/>  <a href=\"https:\/\/menyifang.github.io\/projects\/ADGAN\/ADGAN_files\/Paper_ADGAN_CVPR2020.pdf\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/menyifang\/ADGAN\">GitHub project<\/a> :: <a href=\"https:\/\/menyifang.github.io\/projects\/ADGAN\/ADGAN.html\">Blog<\/a> :: <a href=\"https:\/\/menyifang.github.io\/projects\/ADGAN\/ADGAN_files\/Video_ADGAN_CVPR2020.mp4\">Video<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041a\u0430\u0448\u0438\u043d (\u0432 \u0441\u043b\u044d\u043a\u0435 digitman, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/digitman\/\">digitman<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043b\u044e\u0434\u0435\u0439, \u0437\u0430\u043a\u043e\u043d\u0434\u0438\u0448\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u043f\u043e\u0437\u0443 \u0438 &quot;\u0447\u0430\u0441\u0442\u0438 \u0442\u0435\u043b&quot; \u0434\u0440\u0443\u0433\u0438\u0445 \u043b\u044e\u0434\u0435\u0439. \u041d\u0430 \u0432\u0445\u043e\u0434 \u043e\u0434\u043d\u0430 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043f\u043e\u0437\u0430 \u0438 \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u044b\u0435 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043b\u044e\u0434\u0435\u0439, \u043e\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0445\u043e\u0442\u0438\u043c \u0432\u0437\u044f\u0442\u044c \u043e\u0434\u0435\u0436\u0434\u0443. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u2014 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u043e\u0437\u0435 \u0438 \u0441 \u043e\u0434\u0435\u0436\u0434\u043e\u0439 (\u0444\u0443\u0442\u0431\u043e\u043b\u043a\u0430, \u0448\u0442\u0430\u043d\u044b, \u043e\u0431\u0443\u0432\u044c) \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043b\u044e\u0434\u0435\u0439. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u044d\u0442\u043e\u0439 \u0444\u0438\u0447\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0435\u0449\u0435 \u0438 \u0431\u0443\u0441\u0442 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043b.<\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 \u0434\u0432\u0443\u0445 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432, \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0437\u0443, \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u044b \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u0442\u0435\u043b\u0430. \u0412 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0435 \u044d\u0442\u043e \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u0435\u0442\u0441\u044f. \u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u043e \u0434\u0432\u0435 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0432 \u043e\u0434\u043d\u043e\u0439 \u043e\u0434\u0435\u0436\u0434\u0435, \u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0437\u0430\u0445.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ph\/dh\/z6\/phdhz6y9ofhrs55cwd6l1_kixj8.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<p>\u0411\u0435\u0440\u0443\u0442 2 \u0444\u043e\u0442\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 (\u0441\u043e\u0440\u0441 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 I_s) \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0442\u043e\u0440\u0443\u044e(\u0442\u0430\u0440\u0433\u0435\u0442 I_t). \u041d\u0430 \u0432\u0445\u043e\u0434 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u043d\u043e\u043c\u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0443 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0438 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0442\u0435\u043b\u0430, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0441 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0442\u043e\u0440\u0430. \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0443\u0437 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0443 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f 18 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u043e\u0437\u044b P_t \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0436\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 (\u0438\u0437 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u043f\u043e\u0443\u0437 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430). Pose encoder \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0437 2\u0445 downsampling \u0431\u043b\u043e\u043a\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0442\u0435\u043b\u0430 (\u0432\u0441\u0435\u0433\u043e 8, \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0435\u0435 \u043c\u0430\u0441\u043a\u0430, \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u043d\u0435\u0439 \u043a\u0443\u0441\u043e\u043a \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u043d\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u0442\u0435\u043b\u0430. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0443\u0441\u043a\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f style code. \u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435, \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u043e\u0441\u044c \u043f\u043b\u043e\u0445\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0432\u0435\u0440\u0445\u0443 \u043e\u0431\u043c\u0430\u0437\u0430\u043b\u0438 \u0435\u0449\u0435 \u0442\u0440\u0435\u043c\u044f \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u044f\u043c\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/3q\/at\/mu\/3qatmuk0wckstg62dw5lueczfom.png\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 texture encoder \u0445\u0438\u0442\u0440\u0430\u044f: \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u2014 \u044d\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0432\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u2014 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u0439 vgg, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 \u043a \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0433\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043a\u043e\u043d\u043a\u0430\u0442\u044f\u0442\u0441\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 vgg.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 style code \u043e\u0442 \u0442\u0435\u043a\u0441\u0442\u0443\u0440 \u0438 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u043e\u0437\u044b, \u043d\u0443\u0436\u043d\u043e \u044d\u0442\u043e \u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c. \u0421\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u0443\u0436\u0435 \u0441\u0442\u0430\u0432\u0448\u0438\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u043e\u0439 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u2014 StyleBlock \u0441 AdaIN (\u043a\u0430\u043a \u0432 StyleGAN). \u0412\u0441\u0435\u0433\u043e 8 \u0442\u0430\u043a\u0438\u0445 \u0431\u043b\u043e\u043a\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u043f\u0441\u0435\u043c\u043f\u043b\u0438\u043d\u0433 \u0431\u043b\u043e\u043a\u043e\u0432 \u2014 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 I_g.<\/p>\n<p>  <\/p>\n<p><strong>\u0414\u0432\u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430. <\/strong>\u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0438 \u0442\u0430\u0440\u0433\u0435\u0442 \u043f\u043e\u0437\u044b. \u0412\u0442\u043e\u0440\u043e\u0439 \u2014 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438(\u0447\u0435\u043a \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u044b). \u0418 \u0442\u043e\u0442 \u0438 \u0442\u043e\u0442 \u2014 PatchGAN \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0430\u0442 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a.<\/p>\n<p>  <\/p>\n<p><strong>\u041b\u043e\u0441\u0441\u044b<\/strong>. Adversarial loss-\u044b \u043e\u0442 \u0434\u0432\u0443\u0445 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u0432. Reconstruction loss \u2014 l1 \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0445\u043e\u0434\u043e\u043c \u0438 \u0442\u0430\u0440\u0433\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u043e\u0439. Perceptual loss \u2014 l2 \u043c\u0435\u0436\u0434\u0443 \u0413\u0440\u0430\u043c\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 vgg \u0444\u0438\u0447\u0435\u0439 \u0432\u044b\u0445\u043e\u0434\u0430 \u0438 \u0442\u0430\u0440\u0433\u0435\u0442\u0430. Contextual loss (CX) \u2014 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043f\u043e\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u0434\u0432\u0443\u0445 \u0434\u0430\u0436\u0435 \u043d\u0435 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439(\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0445\u0438\u0442\u0440\u043e\u043c\u0443 \u0447\u0435\u0440\u0435\u0437 VGG \u0444\u0438\u0447\u0438, \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0438\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0443\u044e).<\/p>\n<p>  <\/p>\n<p><strong>\u0414\u0430\u0442\u0430\u0441\u0435\u0442<\/strong> \u2014 DeepFashion. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0438\u0441\u044c \u043a\u0430\u043a \u043f\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c, \u0442\u0430\u043a \u0438 \u043f\u043e \u044e\u0437\u0435\u0440 \u0441\u0442\u0430\u0434\u0438, \u0432\u0441\u0435\u0445 \u043f\u043e\u0431\u0438\u043b\u0438 \u043f\u043e \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ww\/kb\/2u\/wwkb2u3vdotsbftfhk3vjadu3a0.png\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b. \u041b\u0438\u043d\u0435\u0439\u043d\u043e \u043c\u0435\u043d\u044f\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u0442\u0431\u043e\u043b\u043a\u0438 \u0434\u043e \u0434\u0440\u0443\u0433\u043e\u0439, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043b\u0430\u0432\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u0442\u0435\u043a\u0430\u043d\u0438\u0435. \u041d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043a\u043b\u0430\u0441\u0441\u043d\u0430\u044f \u0433\u0438\u0444\u043a\u0430. \u0422\u0430\u043c \u0436\u0435 \u0435\u0441\u0442\u044c \u0433\u0438\u0444\u043a\u0430 \u043f\u043e \u0430\u043d\u0438\u043c\u0430\u0446\u0438\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043f\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044e \u0441\u043a\u0435\u043b\u0435\u0442\u0430, \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0435 \u0442\u043e\u043f, \u043d\u043e \u043e\u043d\u0438 \u0438 \u043d\u0435 \u0440\u0435\u0448\u0430\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0434\u0430\u0447\u0443 \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e, \u0441\u0442\u0430\u0442\u0438\u043a\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e.<\/p>\n<p>  <\/p>\n<h3 id=\"3-learning-to-see-through-obstructions\">3. Learning to See Through Obstructions<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Yu-Lun Liu, Wei-Sheng Lai, Ming-Hsuan Yang, Yung-Yu Chuang, and Jia-Bin Huang (Taiwan, USA, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.01180\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/alex04072000\/ObstructionRemoval\">GitHub project<\/a> :: <a href=\"https:\/\/www.cmlab.csie.ntu.edu.tw\/~yulunliu\/ObstructionRemoval\">Blog<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u041d\u043e\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044e \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439 (\u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043c\u0435\u043b\u043a\u0438\u0445 \u043f\u0440\u0435\u0433\u0440\u0430\u0434, \u0431\u043b\u0438\u043a\u043e\u0432 \u0438 \u0442.\u043f.) \u0441 \u0444\u043e\u043d\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0434\u0440\u043e\u0432 \u0441 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0444\u043e\u043d\u0430. \u041f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435, \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u0442\u0441\u044f \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u2014 \u0441\u043e\u0442\u0430. \u0421\u043e\u0447\u0435\u0442\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 optical flow, \u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438.<\/p>\n<p>  <\/p>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 coarse to fine multi stage \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0432\u0441\u0451 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0438 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0430 \u0438\u043d\u043f\u0443\u0442\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0430\u0434\u0438\u0439 \u0441\u043b\u0443\u0436\u0430\u0442 \u0430\u0443\u0442\u043f\u0443\u0442\u044b \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445. \u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043b\u0435\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 optical flow \u0444\u043e\u043d\u0430 \u0438 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439 \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0434\u0440\u043e\u0432 \u0441 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c \u0444\u043e\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0432 \u0441\u0435\u0442\u044c, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435.<\/p>\n<p>  <\/p>\n<p>\u0412\u0435\u0441\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0442\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438:<\/p>\n<p>  <\/p>\n<ol>\n<li>\n<p><strong>Initial Flow Decompositon<\/strong><br \/>  \u0417\u0434\u0435\u0441\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f OF \u0434\u043b\u044f \u0444\u043e\u043d\u0430 \u0438 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0433\u0440\u0443\u0431\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0421\u0435\u0442\u044c \u0442\u0443\u0442 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u0430\u0431\u043c\u043e\u0434\u0443\u043b\u0435\u0439: \u044d\u043a\u0441\u0442\u0440\u0430\u043a\u0442\u043e\u0440 \u0444\u0438\u0447\u0435\u0439 \u0438 flow estimator. \u042d\u043a\u0441\u0442\u0440\u0430\u043a\u0442\u043e\u0440 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0438\u043d\u043f\u0443\u0442 \u0444\u0440\u0435\u0439\u043c\u043e\u0432 \u0444\u0438\u0447\u0435\u043c\u0430\u043f\u044b, \u0430 \u0437\u0430\u0442\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0435\u0442 cost volume (\u0440\u0430\u0431\u043e\u0442\u0430 Cnns for optical flow using pyramid, warping, and cost volume), \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0441\u043b\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0451\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u0444\u0438\u0447\u0435\u043c\u0430\u043f\u0430\u043c\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0434\u0440\u043e\u0432. Flow Estimator \u0433\u043b\u043e\u0431\u0430\u043b \u043f\u0443\u043b\u0438\u0442 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0444\u0438\u0447\u0435\u0439 \u0438 \u043f\u043e\u0434\u0430\u0451\u0442 \u0432 FC \u0441\u043b\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f initial flow, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043c\u043e\u0434\u0443\u043b\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0433\u0440\u0443\u0431\u044b\u0435 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0444\u043e\u043d\u0430 \u0438 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439.<\/p>\n<p>  <\/li>\n<li>\n<p><strong>Background\/Reflection Layer Reconstruction<\/strong><br \/>  \u0422\u0443\u0442 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0441\u0435\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043e\u0434\u043d\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0444\u043e\u043d\u0430, \u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439. \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0444\u043e\u043d\u0430 \u0438 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0434\u0438\u0438, optical flow, \u043d\u0430\u0431\u043e\u0440 \u043a\u0430\u0434\u0440\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043a\u0430\u0434\u0440. \u041e\u043d\u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0435\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0443\u0436\u0435 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435. <\/p>\n<p>  <\/li>\n<li>\n<p><strong>Optical Flow Refinement<\/strong><br \/>  \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c optical flow \u043d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f PWC-Net.<\/p>\n<p>  <\/li>\n<\/ol>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/5g\/kg\/4m\/5gkg4mbuoyi0udqu-h4nz9qjhiq.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/q-\/8i\/kn\/q-8iknlzxm0g4acvxjkmqhbyays.png\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u0434\u0432\u0435 \u0441\u0442\u0430\u0434\u0438\u0438 \u2014 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e initial flow, \u043d\u0430\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f L1 \u043b\u043e\u0441\u0441 \u043d\u0430 \u0430\u0443\u0442\u043f\u0443\u0442, \u0437\u0430 \u0442\u0430\u0440\u0433\u0435\u0442 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0438\u043a\u0442 PWC-Net.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043b\u043e\u0441\u0441\u0430\u043c\u0438 \u0441\u043b\u0443\u0436\u0430\u0442 L1 reconstruction loss \u0438 gradient loss (L1 \u043c\u0435\u0436\u0434\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f-\u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0430 \u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f-\u0442\u0430\u0440\u0433\u0435\u0442\u0430. \u041d\u0415 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0441\u0435\u0442\u043e\u043a). \u042d\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0443\u0442 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043b\u043e\u0451\u0432 \u0444\u043e\u043d\u0430 \u0438 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439. \u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 unsupervised \u0440\u0435\u0436\u0438\u043c\u0435.<\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f L1 \u043b\u043e\u0441\u0441 \u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c \u0438 \u0441\u0443\u043c\u043c\u043e\u0439 \u0444\u043e\u043d\u0430 \u0438 \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0439, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e (\u0432 \u0438\u0434\u0435\u0430\u043b\u0435 \u044d\u0442\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c 0). \u0422\u0430\u043a\u0436\u0435 \u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f total variation loss.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/b8\/mi\/ih\/b8miihf8c8tbpy2pnvpqv7svs88.png\"><\/p>\n<h3 id=\"4-tracking-objects-as-points\">4. Tracking Objects as Points<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Xingyi Zhou, Vladlen Koltun, Philipp Kr\u00e4henb\u00fchl (UT Austin, Intel Labs, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.01177\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/xingyizhou\/CenterTrack\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u0430\u0447\u0435\u043d\u043d\u043e\u0433\u043e CenterNet \u0441 \u043f\u043e\u0441\u0442\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433\u043e\u043c \u0438 \u0441\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f\u043c\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u044b\u0439 \u0442\u0440\u0435\u043a\u0435\u0440, \u043f\u043e\u043a\u0430\u0437\u0430\u0432\u0448\u0438\u0439 \u0441\u043e\u0442\u0443 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u0432 \u043f\u043e\u0447\u0442\u0438 \u0440\u0438\u0430\u043b\u0442\u0430\u0439\u043c\u0435.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0432\u0437\u044f\u043b\u0438 \u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u0441\u0442\u0430\u0442\u044c\u044e Objects as Points, \u0433\u0434\u0435 \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d CenterNet \u2014 anchorbox free object detector, \u043f\u043e\u043a\u0430\u0437\u0430\u0432\u0448\u0438\u0439 \u043d\u0430 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0445\u043e\u0434\u0430 \u0441\u043e\u0442\u0443 \u043f\u043e \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438. \u0415\u0433\u043e \u0441\u0443\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u0445\u0438\u0442\u043c\u0430\u043f\u0430\u0445, \u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u2014 \u044d\u0442\u043e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0448\u0438\u0440\u0438\u043d\u044b \u0438 \u0432\u044b\u0441\u043e\u0442\u044b \u0432 \u044d\u0442\u0438\u0445 \u0442\u043e\u0447\u043a\u0430\u0445. <\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439, \u0447\u0442\u043e\u0431 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0437 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430 \u0442\u0440\u0435\u043a\u0435\u0440:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432 \u0438\u043d\u043f\u0443\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0444\u0440\u0435\u0439\u043c;<\/li>\n<li>\u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432 \u0438\u043d\u043f\u0443\u0442 class-agnostic \u0445\u0438\u0442\u043c\u0430\u043f\u0443 \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0439 \u0432\u0441\u0435\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u043a\u0430\u0434\u0440\u043e\u0432 (\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u0440\u0435\u043d\u0434\u0435\u0440\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u0413\u0430\u0443\u0441\u0441, \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 \u0442\u0435\u043c, \u043a\u0430\u043a \u0433\u0435\u043d\u0435\u0440\u044f\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u044b \u0446\u0435\u043d\u0442\u0440\u043e\u0432 \u0432 CenterNet);<\/li>\n<li>\u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0430\u0443\u0442\u043f\u0443\u0442 \u043e\u0444\u0444\u0441\u0435\u0442\u0430 \u0442\u043e\u0447\u043a\u0438 \u2014 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043a\u0430\u0434\u0440\u0430\u043c\u0438; \u0438\u0437 \u044d\u0442\u0438\u0445 \u0430\u0443\u0442\u043f\u0443\u0442\u043e\u0432 \u0438 \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0438\u043d\u043f\u0443\u0442 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0430.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0410\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0434\u0440\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u043c \u0436\u0430\u0434\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u2014 \u0435\u0441\u043b\u0438 \u0432 \u043d\u0435\u043a\u043e\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u043e\u043a\u0440\u0443\u0433 \u0442\u043e\u0447\u043a\u0438 \u0443\u0436\u0435 \u0431\u044b\u043b \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u043a\u043b\u0430\u0441\u0441, \u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u043e\u0442 \u0436\u0435 \u0441\u0430\u043c\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 (\u0435\u0441\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e, \u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u0430\u043c\u044b\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439). <\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043a\u0430\u0440\u0442\u044b \u043e\u0444\u0444\u0441\u0435\u0442\u043e\u0432:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0441\u043c\u0435\u0449\u0430\u043b\u0438 \u0442\u043e\u0447\u043a\u0443-\u0446\u0435\u043d\u0442\u0440 \u0438\u0437 ground truth, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u044b\u0439 \u0448\u0443\u043c <\/li>\n<li>\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u043b\u0438 false positives \u0440\u044f\u0434\u043e\u043c \u0441 ground truth \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438<\/li>\n<li>\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u043b\u0438 false negatives, \u0443\u0434\u0430\u043b\u044f\u044f \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0441\u0435\u0433\u043e \u2014 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440 CenterNet, \u0442\u043e \u043e\u043d\u0438 \u043d\u0435 \u0443\u0447\u0438\u043b\u0438 \u0441\u0435\u0442\u044c \u0441 \u043d\u0443\u043b\u044f, \u0430 \u0432\u0437\u044f\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440, \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0432 \u0432\u0435\u0441\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/bt\/ip\/ur\/btipursgzzpeoc1gryuoto0atnc.png\">  <\/p>\n<p>  \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0436\u0451\u0441\u0442\u043a\u0438\u043c\u0438 \u0430\u0443\u0433\u0430\u043c\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0438\u0442\u044c \u0442\u0440\u0435\u043a\u0435\u0440 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0441\u0438\u043c\u0443\u043b\u0438\u0440\u0443\u044f \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0434\u0440\u0430\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 \u0430\u0443\u0433\u0438 \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c \u0438 \u0441\u043a\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>  <\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u2014 67.3% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS. <\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mv\/lf\/ie\/mvlfiewxi8vl8wowkqpmaxuc34k.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  \u0422\u0430\u043a \u043a\u0430\u043a CenterNet \u043c\u043e\u0436\u0435\u0442 \u0438 \u0432 monocular 3D detection, \u0430\u0432\u0442\u043e\u0440\u044b \u0437\u0430\u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0438\u043b\u0438 \u0438 3D tracking \u0432 \u043f\u043e\u0445\u043e\u0436\u0435\u043c \u0441\u0435\u0442\u0430\u043f\u0435, \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0438 \u0442\u0430\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430.<\/p>\n<p>  <\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f (Kalman, Optical Flow), \u0430\u0432\u0442\u043e\u0440\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438, \u0447\u0442\u043e \u043e\u043d\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u044f\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043d\u0438\u043a\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043e\u0444\u0444\u0441\u0435\u0442\u043e\u0432 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0442\u0430\u043a \u0447\u0442\u043e \u043e\u043d\u0438 \u0434\u0435\u043b\u0430\u044e\u0442 \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u043e\u043d\u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u044d\u043d\u043a\u043e\u0434\u044f\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435, \u043d\u043e \u0438 \u0447\u0442\u043e-\u0442\u043e \u0435\u0449\u0451.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0445\u043e\u0436\u0435, \u044d\u0440\u0430 anchor box \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443 \u043a\u043e\u043d\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>  <\/p>\n<h3 id=\"5-cookgan-meal-image-synthesis-from-ingredients\">5. CookGAN: Meal Image Synthesis from Ingredients<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Fangda Han, Ricardo Guerrero, Vladimir Pavlovic (USA, UK, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2002.11493\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041a\u0430\u0448\u0438\u043d (\u0432 \u0441\u043b\u044d\u043a\u0435 digitman, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/digitman\/\">digitman<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0435\u0434\u044b \u043f\u043e \u0441\u043f\u0438\u0441\u043a\u0443 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432. \u0425\u0438\u0442\u0440\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0430\u0442\u0435\u043d\u0448\u043d \u043f\u043e\u0441\u043b\u0435 \u043b\u0441\u0442\u043c, \u0441\u0430\u0439\u043a\u043b \u043a\u043e\u043d\u0441\u0438\u0441\u0442\u0435\u043d\u0441\u0438, \u043c\u0443\u043b\u044c\u0442\u0438\u0441\u043a\u0435\u0439\u043b \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yu\/xk\/v2\/yuxkv2eon9rq3243c2ulgeaou1k.png\">  <\/p>\n<p>  \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b. \u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u2014 bidirectional LSTM, \u043d\u0430 \u0432\u0445\u043e\u0434 word2vec \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438 \u0441\u043b\u043e\u0432, \u043f\u043e\u0441\u043b\u0435 LSTM \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 attention. \u041a\u0430\u0440\u0442\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u2014 ResNet50, \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d Imagenet, \u0444\u0430\u0439\u043d\u0442\u044e\u043d \u043d\u0430 UPMC-Food-101. \u042d\u0442\u0438 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u043f\u0438\u0442\u044c \u0432 &quot;FoodSpace&quot; \u043d\u0430 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u0430\u0445 [&quot;\u0438\u043d\u0433\u0440\u0438\u0434\u0438\u0435\u043d\u0442\u044b&quot;, &quot;\u0444\u043e\u0442\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u0431\u043b\u044e\u0434\u0430&quot;, &quot;\u0444\u043e\u0442\u043e \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e\u0433\u043e \u0431\u043b\u044e\u0434\u0430&quot;]. \u0414\u0430\u043b\u044c\u0448\u0435 \u044d\u0442\u0438 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b \u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u044e\u0442.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dk\/wf\/gv\/dkwfgvdr0irebomdxlxpgmh0me4.png\">  <\/p>\n<p>  \u0414\u0430\u043b\u044c\u0448\u0435 \u0431\u0435\u0440\u0443\u0442 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u044b, \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 \u043e\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 p+. \u0415\u0433\u043e \u043f\u043e\u0434\u0430\u044e\u0442 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u043b\u044f \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u0431\u043b\u0438\u0436\u0435 \u043a \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c\u0443 \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u043c\u0443. \u041a\u0430\u043a \u044f \u043f\u043e\u043d\u044f\u043b, \u044d\u0442\u043e\u0442 \u043a\u043e\u0441\u0442\u044b\u043b\u044c \u043d\u0443\u0436\u0435\u043d \u043e\u0442 \u043e\u0432\u0435\u0440\u0444\u0438\u0442\u0430, \u0438\u043d\u0430\u0447\u0435 \u0431\u044b \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430 \u043e\u0432\u0435\u0440\u0444\u0438\u0442\u0438\u043b\u0430\u0441\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u043d\u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jh\/0l\/mn\/jh0lmnsji1-2baog2zcnk7z4p2i.png\">  <\/p>\n<p>  \u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0438\u0437 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440 &#8216;c&#8217;, \u0435\u0433\u043e \u043f\u043e\u0434\u0430\u044e\u0442 \u0432 \u0442\u0440\u0435\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u043a\u0440\u044b\u0442\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 &#8216;c&#8217; \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 (64, 128, 256).\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0441\u0432\u043e\u0439 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430 \u0442\u0440\u0438 \u0437\u0430\u0434\u0430\u0447\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0435\u043c\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u043a\u0430\u043a &quot;\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435&quot;;<\/li>\n<li>\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u041d\u0415 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0435\u043c\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u043a\u0430\u043a &quot;\u0444\u0435\u0439\u043a&quot;;<\/li>\n<li>\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u043a\u0430\u043a &quot;\u0444\u0435\u0439\u043a&quot;.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f conditional \u043b\u043e\u0441\u0441\u044b, \u0442.\u043a. \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440 &#8216;c&#8217;. \u0415\u0449\u0435 \u043a\u043e\u0441\u0442\u044b\u043b\u044c \u2014 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 unconditional \u043b\u043e\u0441\u0441\u043e\u0432 (\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043a\u0430\u043a &quot;\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439&quot;, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u0430\u043a &quot;\u0444\u0435\u0439\u043a&quot;).<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/dc2\/707\/2ea\/dc27072eab3db0ec45d2892913b6c21a.svg\" alt=\"$L^{cond}_i = -E_{v+\\sim p_{d_i}}[log D_i(v^+ , c)] + E_{v-\\sim p_{d_i}}[log D_i(v^- , c)] + E_{\\tilde{v}+\\sim p_{G_i}}[log D_i(\\tilde{v}^+ , c)],\\\\ L^{uncond}_i = -E_{v+\\sim p_{d_i}}[log D_i(v^+)] + E_{v-\\sim p_{d_i}}[log D_i(v^-)] + E_{\\tilde{v}+\\sim p_{G_i}}[log D_i(\\tilde{v}^+)].$\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u044b, \u043e\u043d\u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 cycle-consistency (\u043f\u043e\u0445\u043e\u0436\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0430\u0434\u0432\u0435\u0441\u0435\u0440\u0438\u0430\u043b \u043b\u043e\u0441\u0441\u0430 \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e). \u0411\u0435\u0440\u0443\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 v+, \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0435\u0435 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 q+, \u0442.\u043a. \u0437\u043d\u0430\u044e\u0442 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u044b, \u0442\u043e \u043c\u043e\u0433\u0443\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0435\u0439\u043a\u043e\u0432\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435(\u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043a\u0435\u0439\u043b\u0430\u0445) v~+ \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0435\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 q~+. \u041d\u0443 \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0443\u0436\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0430\u043c\u0438: L_ci = cos(q+, q~+).<\/p>\n<p>  <\/p>\n<p>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u0441\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430:<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/15b\/330\/e41\/15b330e417170d422d1d71091c0be95b.svg\" alt=\"$L_G = \\sum^2_{i=0} (L^{cond}_i + \\lambda_{uncond} L^{uncond}_i - \\lambda_{cycle} L_{C_i}) + \\lambda_{ca} L_{ca}.$\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>16\u043a \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043e\u043d\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u043e \u0442\u043e\u043f 4\u043a, \u0438 \u043f\u043e\u0442\u043e\u043c \u0435\u0449\u0435 \u043c\u0435\u0440\u0434\u0436\u0438\u043b\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0432\u0441\u044f\u043a\u0438\u043c\u0438 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438 \u0438 \u0434\u0430\u0436\u0435 \u043b\u044e\u0434\u044c\u043c\u0438. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438 \u0434\u043e 1989 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u043b\u0438\u044f\u043b\u043e \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043c\u0438\u043c\u043e FID \u0438 IS \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u2014 \u043f\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0431\u043b\u044e\u0434\u0443 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0440\u0435\u0446\u0435\u043f\u0442\u044b \u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438, \u0433\u0434\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0446\u0435\u043f\u0442.<\/p>\n<p>  <\/p>\n<p>\u0410\u0442\u0442\u0435\u043d\u0448\u043d \u0445\u043e\u0442\u044c \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043d\u043e \u0441\u043a\u043e\u0440 \u043d\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442. \u041d\u043e \u043e\u043d\u0438 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0435\u0433\u043e \u0434\u043b\u044f \u0432\u044f\u0437\u043a\u043e\u0441\u0442\u0438.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0446\u0435\u043f\u0442\u0430\u043c\u0438 \u043d\u0438\u0436\u0435:<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/cd\/pw\/ft\/cdpwftf33blanad60ywf7xrsh7a.png\" width=\"300\" height=\"150\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<h3 id=\"6-designing-network-design-spaces\">6. Designing Network Design Spaces<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Doll\u00e1r (FAIR, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2003.13678\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/facebookresearch\/pycls\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u041d\u043e\u0432\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043f\u043e \u043f\u043e\u0438\u0441\u043a\u0443 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u043c\u0435\u0442\u0430-\u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0432\u044b\u0448\u0435 \u2014 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0438\u0441\u043a \u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u0443\u0434\u0430\u0447\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u0430 \u0441\u0430\u043c\u043e\u0433\u043e \u0443\u0434\u0430\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u043e\u0438\u0441\u043a\u0430. \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e\u0438\u0441\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d \u0432 \u0440\u0443\u0447\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u043f\u0443\u0442\u0451\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438 \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439. <\/p>\n<p>  <\/p>\n<p>\u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0434\u0438\u0437\u0430\u0439\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u044b \u043d\u043e\u0432\u044b\u0435 \u043a\u043e\u043d\u0442\u0440\u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u044b\u0435. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b RegNets \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u044f\u0442 \u043b\u0443\u0447\u0448\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0445 \u043f\u043e FLOPs EffNet \u0441\u0435\u0442\u044f\u043c, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043e \u04455 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438\u043d\u0444\u0435\u0440\u044f\u0442\u0441\u044f.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2q\/wu\/4p\/2qwu4pn5ykzoqwi2wzfmlgfsqw4.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  \u0421\u0443\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0435 \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0443 \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u043e\u0438\u0441\u043a\u0430, \u0430 \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440.<\/p>\n<p>  <\/p>\n<p>\u0423\u0436\u0435 \u0431\u044b\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u044b, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0435, \u0447\u0442\u043e \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e \u043d\u0430\u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438\u0437 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u044f\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0438 \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u043c RL \u0434\u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0438 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.\u042d\u0442\u0438\u043c \u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u0440\u044b \u2014 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442 \u0438\u0437 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u043e\u0438\u0441\u043a\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u0438\u0445 \u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u044d\u0442\u043e \u043a\u0430\u043a \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0442\u0430\u043a\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445 \u043f\u043e\u0438\u0441\u043a\u0430. \u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u0432\u0437\u044f\u043b\u0438 empirical distribution function, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0441\u0435\u0442\u043e\u043a \u0438\u0437 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0438\u043c\u0435\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043d\u0438\u0436\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0440\u0435\u0448\u0445\u043e\u043b\u0434\u0430. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u0442\u0440\u043e\u0438\u0432 \u0442\u0430\u043a\u0443\u044e \u043a\u0440\u0438\u0432\u0443\u044e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0448\u0445\u043e\u043b\u0434\u043e\u0432, \u043f\u043e \u043f\u043b\u043e\u0449\u0430\u0434\u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 (\u0430\u043d\u0430\u043b\u043e\u0433 ROC AUC). \u0421\u0430\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432 \u043f\u043e\u0438\u0441\u043a\u0430 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0443\u0442\u0435\u043c \u043f\u043e\u044d\u0442\u0430\u043f\u043d\u043e\u0433\u043e \u0432\u0434\u0443\u043c\u0447\u0438\u0432\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u0433\u0430\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438 \u043e\u0431\u0448\u0438\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430 (10^18 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440), \u043d\u0430\u0437\u0432\u0430\u043d\u043d\u043e\u0435 AnyNet. <\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u0443 \u0441\u0435\u0442\u0438 \u0435\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u0438 stem, body \u0438 head;<\/li>\n<li>\u0443 body \u0435\u0441\u0442\u044c 4 stage;<\/li>\n<li>\u043a\u0430\u0436\u0434\u044b\u0439 stage \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 block. \u0411\u043b\u043e\u043a\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0440\u0435\u0437\u043d\u0435\u0442 \u0431\u043b\u043e\u043a\u0430\u0445, \u0441\u043e\u0441\u0442\u043e\u044f\u0442 \u0438\u0437 1\u04451, 3\u04453, 1\u04451 \u0431\u043b\u043e\u043a\u043e\u0432 \u0441 residual \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u043c, \u0432\u043d\u0443\u0442\u0440\u0438 \u0433\u0440\u0443\u043f\u043f \u043a\u043e\u043d\u0432\u043e\u043b\u044e\u0446\u0438\u0438, \u0431\u0430\u0442\u0447\u043d\u043e\u0440\u043c \u0438 \u0440\u0435\u043b\u0443.<\/li>\n<\/ol>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u0432\u0441\u0451 \u0434\u043e\u0431\u0440\u043e \u0437\u0430\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c stage:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043b\u043e\u043a\u043e\u0432 (d);<\/li>\n<li>\u0448\u0438\u0440\u0438\u043d\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 (w);<\/li>\n<li>bottleneck ratio (b);<\/li>\n<li>\u0448\u0438\u0440\u0438\u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u044b \u0432 group convolution (g).<\/li>\n<\/ul>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2t\/2i\/lp\/2t2ilpofflacuvismr6tgoglo6w.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  \u0414\u0430\u043b\u044c\u0448\u0435, \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044f \u0433\u0440\u0430\u0444\u0438\u043a\u0438 EDF (empirical distributionfunction), \u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0435\u0442\u0438, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0440\u0435\u0437\u0430\u044e\u0442 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0430\u043c \u0432\u0441\u0451 \u0431\u043e\u043b\u0435\u0435 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<p>  <\/p>\n<p>\u0418\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0439:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u041e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043e\u0442\u043b\u043d\u0435\u043a\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0431\u043b\u043e\u043a\u043e\u0432.<\/li>\n<li>\u041e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0433\u0440\u0443\u043f\u043f \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0431\u043b\u043e\u043a\u043e\u0432.<\/li>\n<li>\u041e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438, \u0447\u0442\u043e \u0443 \u043b\u0443\u0447\u0448\u0438\u0445 \u0441\u0435\u0442\u043e\u043a \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c stage \u0448\u0438\u0440\u0438\u043d\u0430 \u0441\u043b\u043e\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043b\u043e\u0436\u0438\u043b\u0438 \u0438 \u0442\u0430\u043a\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u2014 \u0448\u0438\u0440\u0438\u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043b\u0438 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c\u0443.<\/li>\n<li>\u0422\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043b\u0438 \u0438 \u0434\u043b\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u0441\u0442\u0435\u0439\u0434\u0436\u0435\u0439.<\/li>\n<\/ol>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0445 \u044d\u0442\u0438\u0445 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0439 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438, \u0447\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u043e\u0441\u0442\u0430 \u0448\u0438\u0440\u0438\u043d\u044b \u0441\u043b\u043e\u0451\u0432 \u043e\u0442 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0437\u0430\u0444\u0438\u0442\u0438\u0432 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u043b\u043e\u0436\u0438\u043b\u0438 \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u043e\u0441\u0442 \u0448\u0438\u0440\u0438\u043d\u044b \u043f\u043e \u0441\u0442\u0435\u0439\u0434\u0436\u0430\u043c. \u042d\u0442\u0438-\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0438 \u043b\u0435\u0433\u043b\u0438 \u0432 \u043e\u0441\u043d\u043e\u0432\u0443 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 RegNet<\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043e\u043d\u0438 \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0443\u0436\u0435 RegNet \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438 \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043e\u0442\u0442\u0443\u0434\u0430 \u043b\u0443\u0447\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u043d\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0440\u044e\u043a\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0440\u043e\u0434\u0435 DropPath, AutoAugment \u0438 \u0442.\u043f., \u0442\u043e\u043b\u044c\u043a\u043e weight decay. <\/p>\n<p>  <\/p>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u0438\u043c\u0435\u044f \u0442\u043e \u0436\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0444\u043b\u043e\u043f\u0441\u043e\u0432, \u0447\u0442\u043e \u0438 Efficient Nets, \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u044f\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (Efficient Nets \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u0437\u0434\u0435\u0441\u044c \u0441 \u043d\u0443\u043b\u044f \u0432 \u0442\u043e\u043c \u0436\u0435 \u0441\u0435\u0442\u0430\u043f\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0445 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u0440\u044e\u043a\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u044e\u0437\u0430\u043b\u0438), \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/v4\/dl\/mx\/v4dlmxlfj9_6ucf7wzmmx6v51lo.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  \u041e\u0442 \u0430\u0432\u0442\u043e\u0440\u0430 \u043e\u0431\u0437\u043e\u0440\u0430: \u041f\u0435\u0439\u043f\u0435\u0440 \u043e\u0447\u0435\u043d\u044c \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043a \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044e, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u0430\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u043d \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0435\u0441\u0435\u0440\u0447\u0430 \u0438 \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u043e\u043c\u0430\u043d. \u0414\u0443\u043c\u0430\u044e, \u043d\u0430 \u0431\u0430\u0437\u0435 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0431\u0443\u0434\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u043d\u043e\u0432\u044b\u0445 NAS \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440.<\/p>\n<p>  <\/p>\n<h3 id=\"7-gradient-centralization-a-new-optimization-technique-for-deep-neural-networks\">7. Gradient Centralization: A New Optimization Technique for Deep Neural Networks<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Hongwei Yong, Jianqiang Huang, Xiansheng Hua, Lei Zhang (Hong Kong, Alibaba, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.01461\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/Yonghongwei\/Gradient-Centralization\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u041c\u0435\u0442\u043e\u0434 \u00ab\u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u00bb \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0432 \u0438\u0445 \u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 (\u0441\u0440\u0435\u0434\u043d\u0435\u0435 = 0), \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0438\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u0447\u043a\u0443, \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0434\u0430\u0451\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u0447\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438\/\u0438\u043d\u0441\u0442 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.<\/p>\n<p>  <\/p>\n<p>\u0421\u0443\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u2014 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 (\u0442\u0435\u043d\u0437\u043e\u0440) \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0441\u043b\u043e\u044f (\u043a\u0435\u0440\u043d\u0435\u043b\u0430), \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 (\u0441\u043b\u0430\u0439\u0441\u0430) \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u043b\u0431\u0446\u0430, \u0442.\u0435. \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431 \u0438\u043c\u0435\u0442\u044c \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u043e\u0439 \u0435\u0441\u0442\u044c \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043f\u043e\u043b\u043d\u0430\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0434\u0430\u0451\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0442\u043e\u043b\u044c\u043a\u043e \u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rg\/-s\/3c\/rg-s3c3dj1zshpra2lc1i3vlnt4.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0440\u044f\u0434 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0439, \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f:<\/p>\n<p>  <\/p>\n<p><strong>\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0432\u0435\u0441\u043e\u0432<\/strong>. \u041f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f, \u0433\u0434\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u0448\u0430\u0433\u0430\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043c\u044b \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u0435\u0441\u043e\u0432, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0432\u0435\u0440\u0444\u0438\u0442\u0430.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/8i\/ky\/g3\/8ikyg3hh9mvm1keko6-alohdfla.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  <strong>\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/strong>. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434, \u0442\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u0435\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u2014 Kaiming, \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0437\u044f\u0442\u044b\u0435 \u043f\u0440\u0435\u0442\u0440\u0435\u043d\u043e\u043c), \u0438\u043c\u0435\u044e\u0449\u0438\u0435 \u043f\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u0443 \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 \u043d\u0443\u043b\u044f, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u0435\u0442\u044c \u043c\u0435\u043d\u0435\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043a \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0443 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439.<\/p>\n<p>  <\/p>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a <strong>\u043b\u0443\u0447\u0448\u0435\u0439 \u041b\u0438\u043f\u0448\u0438\u0446\u043d\u043e\u0441\u0442\u0438<\/strong>, \u0442\u0430\u043a \u0447\u0442\u043e \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c \u043b\u043e\u0441\u0441\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0430\u0434\u043a\u043e\u0439 (\u043a\u0430\u043a \u0441 \u0431\u0430\u0442\u0447\u043d\u043e\u0440\u043c\u043e\u043c \u0438 weight standartization). \u0415\u0441\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c \u0432 \u0410\u043f\u043f\u0435\u043d\u0434\u0438\u043a\u0441\u0435.<\/p>\n<p>  <\/p>\n<p><strong>\u0421\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0437\u0440\u044b\u0432\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432<\/strong>. \u0412 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 L2 \u0438 \u043c\u0430\u043a\u0441 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0441 \u0438 \u0431\u0435\u0437 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430. \u0421 \u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043e\u0431\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u0432\u0437\u0440\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u0440\u0435\u0436\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qs\/_f\/2o\/qs_f2ohpwfkhvclm1ofmi951gyo.png\">  <\/p>\n<p>  \u041c\u0435\u0442\u043e\u0434 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 Mini-Imagenet, CIFAR100, ImageNet, \u0412\u0410\u0421\u041c\u0431 Cars, Dogs, CUB-200-2011, COCO.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ix\/yp\/ar\/ixyparevbyn6fc2ynbwtrgg-uko.png\">  <\/p>\n<p>  <\/p>\n<p>  <\/p>\n<h3 id=\"8-when-does-unsupervised-machine-translation-work\">8. When Does Unsupervised Machine Translation Work?<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Kelly Marchisio, Kevin Duh, Philipp Koehn (Johns Hopkins University, USA, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.05516\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0416\u0435\u043b\u0442\u043e\u043d\u043e\u0436\u0441\u043a\u0438\u0439 (\u0432 \u0441\u043b\u044d\u043a\u0435 evgeniyzh, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/Randl\/\">Randl<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0437\u0443\u0447\u0430\u044e\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 Unsupervised Machine Translation (UMT). \u0417\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u044b <a href=\"https:\/\/openreview.net\/forum?id=rkYTTf-AZ\">Lample et al. 2018<\/a> \u0442\u0430\u043a\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0434\u043e\u0431\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 (<a href=\"https:\/\/arxiv.org\/abs\/2004.03137\">Bai et al. 2020<\/a> \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 30+ BLEU \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0434\u043e\u043b\u044e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 n-\u0433\u0440\u0430\u043c). \u041d\u043e \u0432\u0441\u0435 \u044d\u0442\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u044f\u0437\u044b\u043a\u0438 (\u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439, \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439), \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0441 \u043e\u0431\u0449\u0438\u043c domain \u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u0431\u044a\u0435\u043c\u043e\u043c \u0432\u044b\u0441\u043e\u043a\u043e\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u044d\u0442\u0438\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0438\u0434\u0435\u044f UMT \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u0430 \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043d\u0438\u0436\u0435. \u041c\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c encoder-decoder \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u044f\u0437\u044b\u043a\u043e\u0432 \u0438 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0431\u0449\u0438\u0439 latent space \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u044d\u043f\u043e\u0445\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u043d\u0430\u0437\u0430\u0434.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/u8\/e_\/rn\/u8e_rn1drzukow1etfbd41erdh0.png\" width=\"500\" height=\"300\">  <\/p>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 domains (UN =United Nations, CC = Common Crawl, News = Newscrawl) \u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 (\u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439, \u0441\u0438\u043d\u0433\u0430\u043b\u044c\u0441\u043a\u0438\u0439 \u0438 \u043d\u0435\u043f\u0430\u043b\u044c\u0441\u043a\u0438\u0439).<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0430\u0432\u0442\u043e\u0440\u044b \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0440\u0430\u0431\u043e\u0442, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, <a href=\"https:\/\/www.aclweb.org\/anthology\/P19-1019\/\">Artetxe et al. 2019<\/a> \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c\u0438.<\/p>\n<p>  <\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u0442\u0430\u043f \u2014 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u043f\u0430\u0440 \u044f\u0437\u044b\u043a\u043e\u0432 (\u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439-\u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439-\u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439) \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c\u0438. \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441 supervised training \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0443\u043d\u043a\u0442\u043e\u0432. \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0447\u0430\u0441\u0442\u0435\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432 (\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u2014 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c), \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u0435\u0449\u0435 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0443\u043d\u043a\u0442\u043e\u0432, \u043f\u0440\u0438\u0447\u0435\u043c \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u0434\u043b\u044f \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u043e\u0433\u043e. \u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 domains \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u043e\u043c\u0430\u0435\u0442 \u0432\u0441\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ng\/me\/ss\/ngmesscwpabh9q4kh8yw5otgnri.png\" width=\"500\" height=\"300\">  <\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0434\u043a\u0438\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043e\u0442 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e (\u0441\u0438\u043d\u0433\u0430\u043b\u044c\u0441\u043a\u0438\u0439 \u0438 \u043d\u0435\u043f\u0430\u043b\u044c\u0441\u043a\u0438\u0439), \u0433\u0434\u0435 \u043c\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c UMT, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b (\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441 10-20% \u0434\u043e 1%).<\/p>\n<p>  <\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u0438 \u0437\u0430\u043c\u0435\u0447\u0430\u044e\u0442 \u0447\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 domains \u0434\u043b\u044f \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u043e\u0433\u043e \u0438 \u0421\u0421 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e, \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043d\u0438\u0437\u043a\u0430\u044f (\u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f, \u0430 \u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u044b\u0439 \u0441\u043a\u043e\u0440).<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 (BLEU).<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-tresnet-high-performance-gpu-dedicated-architecture\">TResNet: High Performance GPU-Dedicated Architecture (DAMO Academy, Alibaba Group, 2020)<\/a><\/li>\n<li><a href=\"#2-controllable-person-image-synthesis-with-attribute-decomposed-gan\">Controllable Person Image Synthesis with Attribute-Decomposed GAN (China, 2020)<\/a><\/li>\n<li><a href=\"#3-learning-to-see-through-obstructions\">Learning to See Through Obstructions (Taiwan, USA, 2020)<\/a><\/li>\n<li><a href=\"#4-tracking-objects-as-points\">Tracking Objects as Points (UT Austin, Intel Labs, 2020)<\/a><\/li>\n<li><a href=\"#5-cookgan-meal-image-synthesis-from-ingredients\">CookGAN: Meal Image Synthesis from Ingredients (USA, UK, 2020)<\/a><\/li>\n<li><a href=\"#6-designing-network-design-spaces\">Designing Network Design Spaces (FAIR, 2020)<\/a><\/li>\n<li><a href=\"#7-gradient-centralization-a-new-optimization-technique-for-deep-neural-networks\">Gradient Centralization: A New Optimization Technique for Deep Neural Networks (Hong Kong, Alibaba, 2020)<\/a><\/li>\n<li><a href=\"#8-when-does-unsupervised-machine-translation-work\">When Does Unsupervised Machine Translation Work? (Johns Hopkins University, USA, 2020)<\/a><\/li>\n<\/ol>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-304075","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/304075","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=304075"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/304075\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=304075"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=304075"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=304075"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}