{"id":318895,"date":"2021-03-02T15:00:57","date_gmt":"2021-03-02T15:00:57","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=318895"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=318895","title":{"rendered":"\u0420\u0443\u0431\u0440\u0438\u043a\u0430 \u00ab\u0427\u0438\u0442\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u044c\u0438 \u0437\u0430 \u0432\u0430\u0441\u00bb. \u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c \u2014 \u043e\u043a\u0442\u044f\u0431\u0440\u044c 2020 \u0433\u043e\u0434\u0430"},"content":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\" width=\"651\" height=\"511\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<ol>\n<li>\n<p>A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer (Tampere University, Finland, 2020)<\/p>\n<\/li>\n<li>\n<p>Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars (Samsung AI Center, 2020)<\/p>\n<\/li>\n<li>\n<p>Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting (University of California, USA, 2019)<\/p>\n<\/li>\n<li>\n<p>Whitening for Self-Supervised Representation Learning (University of Trento, Italy, 2020)<\/p>\n<\/li>\n<li>\n<p>MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis (Lyrebird AI and University of Montreal, 2019)<\/p>\n<\/li>\n<li>\n<p>StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows (KAUST, Adobe, 2020)<\/p>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0441\u0431\u043e\u0440\u043d\u0438\u043a\u0438 \u0441\u0435\u0440\u0438\u0438:<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p>2020 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/493016\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0424\u0435\u0432\u0440\u0430\u043b\u044c<\/a>, \u041c\u0430\u0440\u0442 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/496024\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/497268\/\">\u04472<\/a>, \u0410\u043f\u0440\u0435\u043b\u044c <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/505040\/\">\u04472<\/a>, \u041c\u0430\u0439 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/507880\/\">\u04472<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/515688\/\">\u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/523268\/\">\u0418\u044e\u043b\u044c-\u0410\u0432\u0433\u0443\u0441\u0442<\/a><\/p>\n<\/li>\n<li>\n<p>2019 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/471514\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/472672\/\">\u0418\u044e\u043b\u044c \u2014 \u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/485122\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u0414\u0435\u043a\u0430\u0431\u0440\u044c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/352508\/\">\u0414\u0435\u043a\u0430\u0431\u0440\u044c 2017 \u2014 \u042f\u043d\u0432\u0430\u0440\u044c 2018<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/352518\/\">\u0424\u0435\u0432\u0440\u0430\u043b\u044c \u2014 \u041c\u0430\u0440\u0442 2018<\/a><\/p>\n<\/li>\n<li>\n<p>2017 \u0433\u043e\u0434: <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/336624\/\">\u0410\u0432\u0433\u0443\u0441\u0442<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/339094\/\">\u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/343822\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u041d\u043e\u044f\u0431\u0440\u044c<\/a> <\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<h4>1. A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Vladimir Iashin, Esa Rahtu (Tampere University, Finland, 2020)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/2005.08271\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/v-iashin\/BMT\">GitHub project<\/a> :: <a href=\"https:\/\/v-iashin.github.io\/bmt\">Project<\/a> :: <a href=\"https:\/\/www.bmvc2020-conference.com\/conference\/papers\/paper_0111.html\">Conference page<\/a> :: <a href=\"https:\/\/www.youtube.com\/watch?v=C4zYVIqGDVQ\">\u0412\u0438\u0434\u0435\u043e<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430 \u0438 \u0441\u0442\u0430\u0442\u044c\u0438: \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u042f\u0448\u0438\u043d (\u0432 \u0441\u043b\u044d\u043a\u0435 vdyashin)<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430<\/strong><br \/> \u041f\u043e\u0447\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0435 \u0432\u0438\u0434\u0435\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435, \u0435\u0449\u0435 \u0438\u043c\u0435\u0435\u0442 \u0430\u0443\u0434\u0438\u043e \u0434\u043e\u0440\u043e\u0436\u043a\u0443. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0430\u0443\u0434\u0438\u043e \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0441 \u0432\u0438\u0434\u0435\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432\u0430\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0440\u0435\u0448\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u0437\u0430\u0434\u0430\u0447\u0443. \u0415\u0449\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u0432 \u0434\u0438\u043f\u043b\u0435\u0440\u043d\u0438\u043d\u0433\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e RGB. \u0421\u0435\u0439\u0447\u0430\u0441 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0438 \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 SotA \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u0432\u0435 \u0438 \u0434\u0430\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0417\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u0444\u0438\u0447\u0438 \u0438\u0437 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u043a\u0430\u043a\u0443\u044e-\u043d\u0438\u0431\u0443\u0434\u044c RNN, \u0438 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u0435\u0439 \u0431\u043b\u0438\u0436\u0435 \u043a \u0432\u044b\u0445\u043e\u0434\u0443. \u0412 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440 \u0432 \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u0434\u043b\u044f \u0432\u0445\u043e\u0434\u0430 \u0441 \u0430\u0443\u0434\u0438\u043e \u0438 rgb, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043f\u0440\u044f\u043c\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u043e.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 Dense Video Captioning<\/strong><br \/> \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 Video Captioning, Dense Video Captioning \u0442\u0440\u0435\u0431\u0443\u0435\u0442: <\/p>\n<ol>\n<li>\n<p>\u043d\u0430\u0439\u0442\u0438 &#171;\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435&#187; \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0432 \u0432\u0438\u0434\u0435\u043e (proposal generation);<\/p>\n<\/li>\n<li>\n<p>\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445 (caption generation). <\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/724\/233\/15d\/72423315d4c60922aad31686b85bcc70.png\" width=\"2380\" height=\"904\"><figcaption><\/figcaption><\/figure>\n<p><strong>\u0412 \u0447\u0435\u043c \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0448 \u043f\u043e\u0434\u0445\u043e\u0434?<\/strong><br \/> \u041d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: <em>Bi-modal Transformer<\/em> \u0438 <em>Proposal Generator<\/em>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c65\/1e1\/290\/c651e1290a6783558bcdf6bdcad877c7.png\" width=\"2210\" height=\"995\"><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0438\u0437 \u043d\u0435\u043c\u0435\u0446\u043a\u043e\u0433\u043e \u0432 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438. \u041e\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u0430. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (source \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439) \u0440\u0430\u0437\u043c\u0435\u0440\u0430 T_src x D (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e<em>\u0441\u043b\u043e\u0432 x \u0440\u0430\u0437\u043c\u0435\u0440<\/em>\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430) \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0443\u0447\u0438\u0442\u044c, \u043a\u0430\u043a \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u0430\u043c \u0438 \u043d\u0430 \u0441\u0435\u0431\u044f \u0441\u0430\u043c\u043e\u0433\u043e (\u0437\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 self-attention). \u0414\u0435\u043a\u043e\u0434\u0435\u0440 \u0436\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (target \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439) \u0440\u0430\u0437\u043c\u0435\u0440\u0430 T_trg x D \u0438 \u0432\u044b\u0445\u043e\u0434 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 T_src x D, \u0438 \u0442\u043e\u0436\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 T_trg x D \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u0432\u0430 (\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043f\u0440\u0438 inference \u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043f\u0440\u0438 train). \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u0437\u0430\u0434 \u2013 \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0440\u0430\u043d\u0435\u0435 (self-attention) \u2013 \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 \u043f\u043e\u0437\u0438\u0446\u0438\u0439 \u0438\u0437 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 (encoder-decoder attention). D \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0434\u043b\u044f \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u0430: \u0442\u0443\u0442 \u0438 \u0442\u0430\u043c \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u0414\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u044d\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u0435\u0449\u0435 \u0438 \u0434\u043e video captioning. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0438\u0434\u0435\u043e \u0432 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439. Source \u0431\u0443\u0434\u0435\u0442 T_src x D_src, \u0430 target T_trg x D_trg (\u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u0433\u043d\u043e\u0432). \u0425\u043e\u0440\u043e\u0448\u043e. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0432\u0435 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 T_m1_src x D_m1_src \u0438 T_m2_src x D_m2_src, \u043d\u0443 \u0438 T_trg x D_trg \u2013 \u0447\u0442\u043e \u0436\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438?<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0444\u0438\u0447\u0438, \u0447\u0442\u043e \u0431\u044b T_m1_src == T_m2_src, \u0442\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0445 \u0441\u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442 \u0432\u0430\u043c \u0432\u044b\u0431\u043e\u0440 \u0444\u0438\u0447\u0435\u0439 (\u043f\u043b\u043e\u0445\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442);<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0442\u0430\u043a\u0438\u043c \u0432\u0445\u043e\u0434\u043e\u043c \u0432 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0435 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u0435 (Bi-modal Transformer).<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u0422\u0440\u0430\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0435\u0449\u0435 \u0440\u0430\u0437, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u043d \u0436\u0435 \u0443\u043c\u0435\u0435\u0442 \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0440\u0430\u0437\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u044b (T_src \u0438 T_trg) \u0438 \u0437\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 encoder-decoder attention. \u041d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0442\u044b, \u043a\u0430\u043a \u043d\u0438 \u043a\u0440\u0443\u0442\u0438, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0448\u044c, \u0447\u0442\u043e \u0442\u0430 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0434\u0430\u0435\u0448\u044c \u0432 queries \u0433\u043b\u0430\u0432\u043d\u0435\u0435 \u0434\u0440\u0443\u0433\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0434\u0435\u0442 \u0432 keys \u0438 values \u2013 \u0434\u043b\u0438\u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043a\u0430\u043a \u0443 queries. \u0418\u0442\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0444\u044c\u044e\u0437\u0438\u0442\u044c \u0438\u043d\u0444\u0443 \u043f\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 (D_<em>), \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0438 scalled dot-product attention \u043c\u044b \u0432\u0445\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 dense-\u0441\u043b\u043e\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c, \u0430 \u0432\u043e\u0442 \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 (T_<\/em>) \u043d\u0438\u043a\u0430\u043a, \u0438 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c, \u043a\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0432\u0430\u0441 \u0432\u0430\u0436\u043d\u0435\u0435. \u042d\u0442\u043e\u0433\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 Bi-modal Decoder, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0435\u0440\u0435\u0442 \u043e\u0431\u0430 \u0437\u0430\u0444\u044c\u044e\u0436\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0432\u044b\u0445\u043e\u0434\u0430 \u0438\u0437 Bi-modal Encoder \u0438 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u0431\u043e\u0438\u0445 \u043a\u0430\u043a source, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0434\u0432\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c T_trg x D_trg. \u0410 \u0441 \u044d\u0442\u0438\u043c \u0443\u0436\u0435 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u0440\u043e\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c. \u042d\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 Bridge \u0441\u043b\u043e\u0435, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u043a\u0430\u043a \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0438. \u0421\u043c\u043e\u0442\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0412\u0430\u043d\u0438\u043b\u043b\u0430 \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u0411\u0438-\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043d\u0438\u0436\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f5\/d1f\/b16\/6f5d1fb16fd89730a9672dfddcea89a4.png\" width=\"2848\" height=\"1252\"><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0442\u043e\u0440\u043e\u0435: <em>Proposal Generator<\/em>. \u041e\u043d \u0442\u043e\u0436\u0435 \u0434\u0432\u0443-\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0439. \u041f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 T_m1_src x D_m1_src \u0438 T_m2_src x D_m2_src, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 Bi-modal Encoder \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u0430\u0444\u044c\u044e\u0436\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u043e\u0442\u0434\u0430\u0435\u043c Proposal Generator. \u041e\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0438\u0437 K_m1 = K_m2 &#171;\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432&#187; (heads \u2013 \u043d\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0447\u0442\u043e \u0432 Multi-headed Attention). <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d11\/ae2\/a63\/d11ae2a63850dd982eb0da210fed2178.png\" width=\"2380\" height=\"1020\"><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u043e\u0445\u043e\u0436\u0430 \u043d\u0430 \u0441\u043b\u043e\u0439 YOLO \u0438 \u0438\u043c\u0435\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 (k, receptive field) \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u0445\u043e\u0434\u0430 (T_m1_src \u0438\u043b\u0438 T_m2_src), \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0430\u0439\u043e\u0440\u0430 (anchor). \u0418\u0442\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f (T_m1_src * K_m1 * anchor_num_m1) + (T_m2_src * K_m2 * anchor_num_m2) \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u043e\u0432, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0422\u043e\u043f-100 \u043f\u043e &#171;\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438&#187;. \u0421\u0430\u043c\u0430 \u0433\u043e\u043b\u043e\u0432\u0430 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443: \u0442\u0440\u0438 1-D \u0441\u0432\u0435\u0440\u0442\u043a\u0438, \u0433\u0434\u0435 \u043f\u0435\u0440\u0432\u0430\u044f \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 = k, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2013 1. \u0422\u0430\u043a \u043a\u0430\u043a YOLO (v3) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043a\u0435\u0439\u043b\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u0442\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u043c\u044b \u044d\u0442\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c anchors. anchors (\u0438 K_m1) \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0437 K-Means, \u043a\u0430\u043a \u0437\u0430\u0432\u0435\u0449\u0430\u044e\u0442 \u0432\u0435\u043b\u0438\u043a\u0438\u0435.<\/p>\n<p>\u041a\u0430\u043a \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0435 \u044d\u0442\u043e? \u041c\u044b \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c:<\/p>\n<ol>\n<li>\n<p>\u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c Bi-modal Transformer (captioning module) \u043d\u0430 ground-truth \u043e\u0442\u0440\u044b\u0432\u043a\u0430\u0445 \u0432\u0438\u0434\u0435\u043e \u2013 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0445\u043e\u0440\u043e\u0448\u0443\u044e captioning \u043c\u043e\u0434\u0435\u043b\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0431\u0435\u0440\u0435\u043c \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 Bi-modal Encoder, \u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u043c \u0435\u0433\u043e \u0432\u0435\u0441\u0430, \u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c Proposal Generator \u2013 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u2013 \u0432\u0441\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442: \u0431\u0435\u0440\u0435\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0432\u0438\u0434\u0435\u043e, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u044b, \u0440\u0435\u0436\u0435\u043c \u0432\u0438\u0434\u0435\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u0430\u043c, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 Bi-modal Transformer.<\/p>\n<p><strong>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><br \/> \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u0440\u0430\u0441\u0430\u0432\u0446\u0430 \u043d\u0430 Dense Video Captioning, \u0433\u0434\u0435 \u0438\u0437 \u0432\u0438\u0434\u0435\u043e \u0434\u043e\u0441\u0442\u0430\u0435\u043c rgb (-&gt; I3D) \u0438 \u0430\u0443\u0434\u0438\u043e (-&gt; VGGish) \u0442\u0440\u0435\u043a\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u043d\u0438\u0436\u0435. \u041c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043c\u043d\u043e\u0433\u043e ablation \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0438 \u0447\u0430\u0441\u0442\u0438 \u043d\u0430\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ca\/77f\/892\/3ca77f892478678e0e008e8700308a57.png\" width=\"1107\" height=\"286\"><figcaption><\/figcaption><\/figure>\n<h4>2. Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Egor Zakharov, Aleksei Ivakhnenko, Aliaksandra Shysheya, Victor Lempitsky (Samsung AI Center, 2020)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/2008.10174\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/saic-violet\/bilayer-model\">GitHub project<\/a> :: <a href=\"https:\/\/saic-violet.github.io\/bilayer-model\/\">Blog<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430 \u0438 \u0441\u0442\u0430\u0442\u044c\u0438: \u0415\u0433\u043e\u0440 \u0417\u0430\u0445\u0430\u0440\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 e.zakharov)<\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u043d\u043e\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u043b\u0430\u0435\u0442 \u0443\u043f\u043e\u0440 \u043d\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043f\u0440\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0438 \u043f\u043e\u0431\u0438\u043b\u0438 SotA \u0434\u043b\u044f \u0441\u0435\u0442\u0442\u0438\u043d\u0433\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435\u043c real-time \u043d\u0430 \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u0445.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/89b\/63b\/452\/89b63b452136a893b97bc9d1357c60aa.gif\" width=\"704\" height=\"377\"><figcaption><\/figcaption><\/figure>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430<\/strong><br \/> \u0410\u0432\u0430\u0442\u0430\u0440\u044b &#8212; \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0441\u0435\u043b\u0444\u0438 \u043c\u043e\u0433\u0443\u0442 \u0430\u043d\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0441 \u043d\u0438\u0445 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0435. \u0412 \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0430\u0445.<\/p>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0442\u0430\u043a\u0430\u044f SOTA \u043c\u0435\u0442\u043e\u0434\u044b \u0442\u0440\u0430\u0442\u044f\u0442 \u043d\u0430 \u043f\u0440\u043e\u0433\u043e\u043d \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u0430\u0434\u0440\u0430 \u0432 3-5 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0447\u0435\u043c \u043d\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u0430 \u043f\u043e\u0442\u043e\u043c \u0433\u043e\u043d\u044f\u044e\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c 30 \u0440\u0430\u0437 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0412 \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043d\u043e\u0432\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 10 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0447\u0435\u043c \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f &#8212; \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u0434\u043e.<\/p>\n<p><strong>\u041c\u0435\u0442\u043e\u0434<\/strong><br \/> \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0438\u043c\u0435\u044e\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430-\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430: \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0430 \u0437\u0430\u0442\u0435\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0435. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u0432 \u0446\u0435\u043b\u043e\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u043e\u0436\u0430\u0442\u044c \u0434\u0435\u043a\u043e\u0434\u0435\u0440. \u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u043a\u0430\u043c \u0431\u043e\u043b\u044c\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u043f\u043e \u043c\u0435\u0440\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/826\/170\/5d5\/8261705d533149b71dd211c489dcd45d.png\" width=\"4599\" height=\"1715\"><figcaption><\/figcaption><\/figure>\n<p>\u041c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438: \u043f\u0435\u0440\u0432\u0430\u044f \u0441\u0435\u0442\u043a\u0430 (\u0442\u043e\u043b\u0441\u0442\u0430\u044f) \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u0443\u044e \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0443 \u0434\u043b\u044f \u0433\u043e\u043b\u043e\u0432\u044b, \u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u0441\u0435\u0442\u043a\u0430 (\u0442\u043e\u043d\u043a\u0430\u044f) &#8212; \u043d\u0438\u0437\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u0443\u044e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u0434\u043b\u044f \u0432\u044b\u0445\u043e\u0434\u0430 \u0438 \u0432\u0430\u0440\u043f\u0438\u043d\u0433 \u043f\u043e\u043b\u0435. \u0412\u044b\u0445\u043e\u0434\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u043f\u0430 \u043a \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0435 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0430, \u0430 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u0430 \u0441\u0435\u0442\u043e\u043a &#8212; \u043d\u0438\u0436\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/055\/a16\/78c\/055a1678c7aa25a85fb5378cac0fad0b.gif\" width=\"840\" height=\"385\"><figcaption><\/figcaption><\/figure>\n<p>\u0423 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432: \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0435\u0442\u043a\u043e\u0439 (\u0442\u0435\u043a\u0441\u0442\u0443\u0440\u043d\u044b\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c), \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u043e\u0437\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043d\u0430 \u0430\u0432\u0430\u0442\u0430\u0440, \u0430 \u043e\u0431\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u0435\u0442\u043a\u0438 (\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430) \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0447\u0430\u0441\u0442\u043e\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c. \u0411\u043e\u043d\u0443\u0441\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e, \u0447\u0442\u043e \u0432\u0441\u0451 \u0443\u0447\u0438\u0442\u0441\u044f end-to-end \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0436\u0435\u043d\u043e\u043c \u043d\u0430 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u043f\u043e\u0434\u0443\u043c\u0430\u043b\u0438: \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0441\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0430, \u0442\u043e \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u0435\u0449\u0451 \u043b\u0443\u0447\u0448\u0435 \u0437\u0430\u0444\u0438\u0442\u0438\u0442\u044c \u043c\u0435\u043b\u043a\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0440\u0435\u0439\u043d\u0430. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0442\u0443\u0442 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0438\u0434\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043b\u0438\u0446\u0430, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0430 \u043f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u043c [Learned Gradient Descent]() (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435, \u0435\u0433\u043e <a href=\"https:\/\/augmentedperception.github.io\/deepview\/\">\u043a\u0440\u0443\u0442\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c<\/a>), \u0438 \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u0443\u044e \u0441\u0435\u0442\u043a\u0443: \u043e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0443, \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0435, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u043b\u043e\u0441\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, sum of squared errors) \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u043b\u044f \u043d\u0435\u0451 \u0430\u043f\u0434\u0435\u0439\u0442.<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u044d\u043a\u043f\u0440\u043e\u043f\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043f\u0438\u0439 (\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0430\u043f\u0434\u0435\u0439\u0442\u0430 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u044b \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439). \u0412 \u0438\u0442\u043e\u0433\u0435 \u044d\u0442\u0430 \u0441\u0435\u0442\u043a\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u044c\u044e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e \u0441\u0443\u0442\u0438, \u0432 \u0444\u0438\u0434\u0444\u043e\u0440\u0432\u0430\u0440\u0434 \u0440\u0435\u0436\u0438\u043c\u0435. \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043f\u0438\u0441\u0430\u043d \u0438 \u043f\u0440\u0438\u043c\u0435\u0440 \u0435\u0451 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0438\u0436\u0435. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u0443\u0447\u0438\u0442\u0441\u044f \u0435\u0449\u0451 \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0438 \u0443\u0431\u0438\u0440\u0430\u0442\u044c \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d07\/a97\/11c\/d07a9711cd4c32b74c8e5a5bdb255e5c.jpg\" width=\"1410\" height=\"464\"><figcaption><\/figcaption><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/556\/7f2\/362\/5567f2362abd8d520d65757fa2ca64b1.jpg\" width=\"1312\" height=\"737\"><figcaption><\/figcaption><\/figure>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><br \/> \u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e state-of-the-art \u0432 \u043b\u043e\u0431 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f: SotA \u0432\u044b\u0438\u0433\u0440\u0430\u0435\u0442 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443, \u043c\u044b \u0432\u044b\u0438\u0433\u0440\u0430\u0435\u043c \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438, \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043a\u0442\u043e \u043a\u0440\u0443\u0447\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 3 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438: \u0431\u043e\u043b\u044c\u0448\u0443\u044e, \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u0432\u0430\u0440\u044c\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0447\u0430\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435, \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0438\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430, \u0438 \u0432 \u044d\u0442\u043e\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u043c (\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u043d\u0438\u0436\u0435).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a7\/f1d\/31f\/6a7f1d31fe1044a7dd2a32af0fd27c27.jpg\" width=\"1202\" height=\"583\"><figcaption><\/figcaption><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/809\/696\/5c4\/8096965c4b9e4993c815d98a4ded3560.jpg\" width=\"1154\" height=\"842\"><figcaption><\/figcaption><\/figure>\n<p>\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 SNPE, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b \u0441 PyTorch-Mobile. \u0412\u0441\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 42 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430 \u043a\u0430\u0434\u0440 \u043d\u0430 Snapdragon 855.<\/p>\n<h4>3. Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Shiyang Li, Xiaoyong Jin, Yao Xuan, Xiyou Zhou, Wenhu Chen, Yu-Xiang Wang, Xifeng Yan (University of California, USA, 2019)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/1907.00235\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0414\u0435\u043d\u0438\u0441 \u0412\u043e\u0440\u043e\u0442\u044b\u043d\u0446\u0435\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 tEarth, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/tEarth\/\">tEarth<\/a>)<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0430 time series (\u0434\u0430\u043b\u0435\u0435: \u0422\u0421) \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 ARIMA, RNN, LSTM. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0430\u0440\u0438\u043c\u044b \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0443\u043b\u043e\u0432\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0434\u0430\u0442\u0435. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 RNN \u0434\u043e\u043b\u0433\u043e \u0438\u0437-\u0437\u0430 \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0438\u0445 \u0438 \u0432\u0437\u0440\u044b\u0432\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432. LSMT \u0440\u0435\u0448\u0430\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043d\u043e \u0443 \u044d\u0442\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u0430\u043b\u044b\u0439 effective content size. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e <a href=\"https:\/\/arxiv.org\/abs\/1805.04623\">\u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435<\/a>, LSTM \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 200 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430 \u0432\u0441\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0422\u0421, \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0434\u0430\u0432\u043d\u043e \u044d\u0442\u043e \u0431\u044b\u043b\u043e, \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u044f \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0443 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: dot-product self attention \u043d\u0435\u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443; \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438: \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0443 \u0434\u043b\u0438\u043d\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0434\u0432\u0435 \u0438\u0434\u0435\u0438: causal convolutional self attention \u0438 LogSparse Transformer. \u041f\u0435\u0440\u0432\u0430\u044f \u0438\u0434\u0435\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0437\u0430\u043c\u0435\u043d\u0435 Queries \u0438 Keys \u043d\u0430 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 Queries \u0438 Keys. \u0422\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u043d\u044c\u0448\u0435 \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c &#8212; \u0434\u043b\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0442\u043e\u0447\u0435\u043a \u0434\u043e \u0434\u0430\u043d\u043d\u043e\u0439. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0438\u0448\u0443\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u0430\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043d\u043e \u0444\u043e\u0440\u043c\u0443 \u043a\u0440\u0438\u0432\u043e\u0439. \u041d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043d\u0438\u0436\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 (k &#8212; kernel size). \u0412 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0441\u0432\u0435\u0440\u0442\u043e\u043a \u043d\u0435\u0442, \u043d\u043e \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0441\u043b\u0435\u0432\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0430 \u0441\u0432\u0435\u0440\u0442\u043a\u0430 \u0441 \u044f\u0434\u0440\u043e\u043c=1. \u041f\u043e \u0441\u0443\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/724\/1c2\/3d3\/7241c23d391bb3e619df0adce6ad57e9.png\" width=\"1724\" height=\"796\"><figcaption><\/figcaption><\/figure>\n<p>\u0412\u0442\u043e\u0440\u0430\u044f \u0438\u0434\u0435\u044f &#8212; LogSparse Transformer &#8212; \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u043d\u0435 \u0432\u0441\u0435\u0445 \u0442\u043e\u0447\u043a\u0438, \u0430 \u0441\u044d\u043c\u043f\u043b. \u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043d\u0438\u0436\u0435. \u041f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u0434\u043e O(L(log L)^2). <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ab\/433\/676\/6ab433676aef993324bea4d5a33cf47e.png\" width=\"1710\" height=\"678\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u0435 \u043f\u0440\u0438 \u0442\u0435\u0445 \u0436\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u0445 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043a\u043e\u0440 \u043f\u043e\u0434\u0440\u043e\u0441.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/988\/ef2\/41a\/988ef241a431eab06ee05dc2c56d17db.png\" width=\"1764\" height=\"574\"><figcaption><\/figcaption><\/figure>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0441\u0432\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 ARIMA, matrix factorization method &#8212; TRMF, autoregressive DeepAR (3-layers LSTM) \u0438 RNN-based state space model DeepState. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0434\u0432\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430: electricity-c, traffic-c (\u0441\u043c. \u043d\u0438\u0436\u0435), \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u043d\u0430 7 \u0434\u043d\u0435\u0439 \u0432\u043f\u0435\u0440\u0435\u0434 rolling \u043e\u043a\u043d\u043e\u043c (autoregressive model, \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434; \u0441\u0442\u0440\u043e\u043a\u0438 1, 3) \u0438 \u043d\u0430 7 \u0434\u043d\u0435\u0439 \u0432\u043f\u0435\u0440\u0435\u0434 (seq2seq, \u0441\u0442\u0440\u043e\u043a\u0438 2, 4).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72e\/bad\/03e\/72ebad03e06e437b2fc1412380d07394.png\" width=\"1830\" height=\"550\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043b\u0443\u0447\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0445\u043e\u0442\u044f \u0442\u0443\u0442 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u043e\u0431\u044b\u0447\u043d\u044b\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u043c \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0430 \u0422\u0421, \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0441\u043a\u043e\u0440\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435. \u0415\u0449\u0435 \u043e\u043d\u0438 \u043f\u0438\u0441\u0430\u043b\u0438, \u0447\u0442\u043e \u0434\u043b\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043e\u043d\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043d\u043e \u043d\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u043b\u0438, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041d\u0435\u0447\u0435\u0441\u0442\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435. \u0410\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u0432\u0435\u0440\u0442\u043a\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/85c\/d8f\/910\/85cd8f910650f05efbc29e3d3573f337.png\" width=\"1720\" height=\"340\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0442 \u0430\u0432\u0442\u043e\u0440\u0430 \u043e\u0431\u0437\u043e\u0440\u0430: \u0412 \u0446\u0435\u043b\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430. \u041c\u043d\u0435 \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0438\u0434\u0435\u044f \u0441\u043e \u0441\u0432\u0435\u0440\u0442\u043a\u043e\u0439, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432 \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u0435\u043d \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043b\u043e\u0445\u043e \u043b\u043e\u0432\u0438\u0442\u0441\u044f dot-product.<\/p>\n<h4>4. Whitening for Self-Supervised Representation Learning<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Aleksandr Ermolov, Aliaksandr Siarohin, Enver Sangineto, Nicu Sebe (University of Trento, Italy, 2020)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/2007.06346\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/htdt\/self-supervised\">GitHub project<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430 \u0438 \u0441\u0442\u0430\u0442\u044c\u0438: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0415\u0440\u043c\u043e\u043b\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 ermolov)<\/p>\n<p>\u041a\u0440\u0430\u0442\u043a\u043e \u043e self-supervised learning \u0438 contrastive loss (\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0443 <a href=\"https:\/\/dyakonov.org\/2020\/06\/03\/%D1%81%D0%B0%D0%BC%D0%BE%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-self-supervision\/\">\u0414\u044c\u044f\u043a\u043e\u043d\u043e\u0432\u0430<\/a>). \u0425\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u0418\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043a\u0440\u043e\u043f\u0430 \u0438 \u0438\u0441\u043a\u0430\u0436\u0435\u043d\u0438\u044f \u0446\u0432\u0435\u0442\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0430\u0440\u0443 \u043d\u043e\u0432\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0422\u0430\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0431\u044a\u0435\u043a\u0442, \u043d\u043e \u0441\u0430\u043c\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0435 (\u043f\u043e\u0437\u0438\u0442\u0438\u0432\u044b). \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f cross-entropy loss (\u043e\u043d \u0436\u0435 contrastive), \u043c\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u044d\u0442\u0443 \u043f\u0430\u0440\u0443 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 (\u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043e\u0432). \u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u0442\u0430\u043a\u0430\u044f, \u0435\u0441\u043b\u0438 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0444\u043e\u0442\u043e \u0441\u043e\u0431\u0430\u043a\u0438, \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u044d\u043c\u043f\u043b\u0435 \u043b\u0430\u043f\u044b, \u0430 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u0445\u0432\u043e\u0441\u0442, \u0442\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0443 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 (\u0441\u0430\u043c\u043e \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0441\u043e\u0431\u0430\u043a\u0438), \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u044d\u043c\u043f\u043b\u044b. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u044b\u0439 \u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043d\u0430 \u043b\u0435\u0439\u0431\u043b\u0430\u0445. \u0414\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u043c\u044b \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u0432\u0435\u0440\u0445 \u043d\u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 (\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0438\u043b\u0438 k-NN) \u0443\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043b\u0435\u0439\u0431\u043b\u044b.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ff\/c31\/ab8\/7ffc31ab896081834a8d665854138262.png\" width=\"912\" height=\"661\"><figcaption><\/figcaption><\/figure>\n<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0434\u0435\u0435: \u0432\u043c\u0435\u0441\u0442\u043e contrastive loss, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u044f\u0432\u043d\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432 \u0431\u044b\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 MSE. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043f\u043b\u043e\u0445\u043e\u0435 \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435. \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u044d\u0442\u043e\u0433\u043e, \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c whitening transform, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u043e\u043d\u0443\u0441\u0430, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u044b, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440: 2-\u043c \u0441\u044d\u043c\u043f\u043b\u0430\u043c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 1 \u043f\u0430\u0440\u0430, \u0430 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 4-\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c 6 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0430\u0440.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c19\/4fb\/336\/c194fb336dbbbc77009fc5966ddf112d.png\" width=\"944\" height=\"442\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u043a\u0430 \u043c\u044b \u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044e, \u0432\u044b\u0448\u0435\u043b \u043d\u043e\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 <a href=\"https:\/\/arxiv.org\/abs\/2006.07733\">BYOL<\/a>. \u041e\u043d\u0438 \u0442\u0430\u043a\u0436\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u0430\u043c\u0438, \u043d\u043e \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0443, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043d\u0430 bootstrapping. \u041c\u0435\u0442\u043e\u0434\u044b \u043f\u043b\u044e\u0441-\u043c\u0438\u043d\u0443\u0441 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0445\u043e\u0442\u044f \u044f \u0437\u0430\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u0434\u043b\u044f BYOL \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0435\u043a\u0438\u0439 \u0440\u0430\u0437\u043e\u0433\u0440\u0435\u0432, \u043f\u0435\u0440\u0432\u044b\u0435 120 \u044d\u043f\u043e\u0445 \u043e\u043d \u043e\u0442\u0441\u0442\u0430\u0451\u0442 (\u043f\u043e\u043b\u0430\u0433\u0430\u044e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e), \u0430 \u043a\u043e\u043d\u0446\u0443 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0434\u0435\u043b\u0430\u043b\u0438 \u043d\u0430 CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet \u0434\u043b\u044f \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 ResNet-18. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f ImageNet \u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u043c (\u0443 \u043d\u0430\u0441 \u043d\u0435\u0442 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 512 TPU v3 \u043a\u0430\u043a \u0443 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 BYOL), \u043d\u043e \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c loss \u0444\u0443\u043d\u043a\u0446\u0438\u0438. <a href=\"https:\/\/github.com\/htdt\/self-supervised\">\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439<\/a> \u043a\u0440\u043e\u043c\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 contrastive loss \u0438 BYOL, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0442\u0430\u043a\u043e\u0439 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d11\/7d0\/e55\/d117d0e55693c78682493ec3a2d3e840.png\" width=\"931\" height=\"302\"><figcaption><\/figcaption><\/figure>\n<h4>5. MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Kundan Kumar, Rithesh Kumar, Thibault de Boissiere, Lucas Gestin, Wei Zhen Teoh, Jose Sotelo, Alexandre de Brebisson, Yoshua Bengio, Aaron Courville (Lyrebird AI and University of Montreal, 2019)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/1910.06711\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/descriptinc\/melgan-neurips\">GitHub project<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u0440\u0442\u0435\u043c \u0413\u0440\u0438\u0431\u0443\u043b\u044c (\u0432 \u0441\u043b\u044d\u043a\u0435 Datasciensyash)<\/p>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0430\u0443\u0434\u0438\u043e-\u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432 &#8212; \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0438\u0437-\u0437\u0430 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043b\u0438\u043d\u044b \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 Text-To-Speech \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0430\u0443\u0434\u0438\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0447\u0430\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u041f\u0435\u0440\u0432\u0430\u044f \u0438\u0437 \u043d\u0438\u0445 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0442\u0435\u043a\u0441\u0442 \u0432 \u0441\u0436\u0430\u0442\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432 mel-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443, \u0438 \u0438\u043c\u0435\u043d\u0443\u0435\u0442\u0441\u044f \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u043c. \u0412\u0442\u043e\u0440\u0430\u044f \u0436\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 mel-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443 \u0432 \u0430\u0443\u0434\u0438\u043e \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u043a\u043e\u0434\u0435\u0440\u043e\u043c. \u0418 \u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432, \u0438 \u0443 \u0432\u043e\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 &#8212; \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u043c\u0438, \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0432 \u0441\u0438\u043b\u0443 \u0441\u0432\u043e\u0435\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f \u043d\u0430 CPU \u0438\u0437-\u0437\u0430 \u043d\u0438\u0437\u043a\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b (\u0430 \u043e\u0447\u0435\u043d\u044c \u0431\u044b \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c!).<\/p>\n<p>\u0412 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u043e\u0432\u0443\u044e Fully-Convolutional GAN \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0434\u043b\u044f \u0432\u043e\u043a\u043e\u0434\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 x520 Realtime \u043d\u0430 GPU \u0438 x10 Realtime \u043d\u0430 CPU.<\/p>\n<p><strong>MelGAN Generator<\/strong><br \/> \u0418\u0434\u0435\u0439\u043d\u043e, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 MelGAN&#8217;a &#8212; \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u043d\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c mel-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0442\u043e\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0430\u0443\u0434\u0438\u043e-\u0441\u0438\u0433\u043d\u0430\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d \u0434\u043b\u044f \u0435\u0451 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u0434\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438, \u0442\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f hop_length , \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c stride, \u0435\u0441\u043b\u0438 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c STFT-\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0430\u043a \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u0443\u044e \u0441\u0432\u0435\u0440\u0442\u043a\u0443. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e mel-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0432 hop_length \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0438\u0433\u043d\u0430\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f6\/b61\/26b\/4f6b6126b2d7f27facbf12be7d0908a6.png\" width=\"1378\" height=\"791\"><figcaption><\/figcaption><\/figure>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 mel-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u0430\u0443\u0434\u0438\u043e, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u044f\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 Transposed Convolutions. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0430\u043a\u0438\u0445 upsampling-\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c hop_length . \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0441 hop_length = 256 , \u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u043e\u0438\u043b\u0430\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: x8 -&gt; x8 -&gt; x2 -&gt; x2. \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0431\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u0444\u0438\u0447\u0430\u043c\u0438 \u043c\u0435\u0436\u0434\u0443 Upsampling \u0431\u043b\u043e\u043a\u0430\u043c\u0438, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u043a \u0438\u0437 Dilated Convolutions \u0441\u043b\u043e\u0435\u0432 \u0441 Residual Connections \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0441\u0432\u0435\u0440\u0442\u043e\u043a, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 dilation \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u043e\u0447\u0435\u043d\u044c \u0434\u0430\u043b\u0435\u043a\u0438\u043c\u0438 \u0441\u0435\u043c\u043f\u043b\u0430\u043c\u0438 \u0438\u0437-\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e receptive field.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0443\u0447\u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0443 \u0432\u0430\u0436\u043d\u044b\u0445 \u043d\u044e\u0430\u043d\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b <strong>\u0436\u0438\u0440\u043d\u044b\u043c \u0448\u0440\u0438\u0444\u0442\u043e\u043c<\/strong> \u0432\u044b\u0434\u0435\u043b\u0438\u043b\u0438 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435:<\/p>\n<ol>\n<li>\n<p>\u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b kernel_size \u0438 stride \u0432 Transposed Convolution \u0441\u043b\u043e\u044f\u0445, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u043a <a href=\"https:\/\/distill.pub\/2016\/deconv-checkerboard\/\">checkerboard artifacts<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0435\u0434\u0443\u0442 \u043a \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044e \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0445 \u0448\u0443\u043c\u043e\u0432 \u0432 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u043c \u0430\u0443\u0434\u0438\u043e\u0441\u0438\u0433\u043d\u0430\u043b\u0435. \u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u0440\u0435\u0446\u0435\u043f\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442 \u0438 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c\u044e: kernel_size = N * stride .<\/p>\n<\/li>\n<li>\n<p>\u041b\u0443\u0447\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Dilated Convolutions \u0434\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0444\u0438\u0447\u0430\u043c\u0438 \u043f\u0435\u0440\u0435\u0434 Transposed Convolutions \u0438\u0437-\u0437\u0430 \u043b\u0443\u0447\u0448\u0435\u0433\u043e Receptive Filed, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0441\u0432\u0435\u0440\u0442\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0441\u0442\u044d\u043a\u0435 Dilated Convolutions \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0442\u044c dilation \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0448\u0430\u0433\u043e\u043c \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u0430\u044f \u0444\u0438\u0447\u0430 \u0432\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u044b\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0430 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437. \u0418\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u043c \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0430\u043c. \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c: \u0435\u0441\u043b\u0438 \u043c\u044b \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 dilation \u043a\u0430\u043a dilation_0, \u0442\u043e dilation_i = dilation ** i.<\/p>\n<\/li>\n<li>\n<p>Batch Normalization \/ Instance Normalization \u0438\u043b\u0438 \u043b\u044e\u0431\u0430\u044f \u0438\u043d\u0430\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0438\u0447\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043f\u043e\u0442\u0435\u0440\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e pitch, \u0434\u0435\u043b\u0430\u044f \u0433\u043e\u043b\u043e\u0441 \u0432 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u043c \u0430\u0443\u0434\u0438\u043e \u043d\u0435\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0438 \u043c\u0435\u0442\u0430\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u043c. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0434\u043b\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u0445\u043d\u0438\u043a\u0443 <a href=\"https:\/\/paperswithcode.com\/method\/weight-normalization\">weight normalization<\/a>.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e \u0434\u043b\u044f GAN: LeakyReLU \u0432\u0435\u0437\u0434\u0435, Tahn \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435.<\/p>\n<p><strong>MelGAN Discriminator \u0438 loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/strong><br \/> \u0412 MelGAN \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0445\u0438\u0442\u0440\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043e\u0434\u043d\u043e\u0442\u0438\u043f\u043d\u044b\u0445 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u043c\u0438 \u0432 \u0430\u0443\u0434\u0438\u043e-\u0441\u0438\u0433\u043d\u0430\u043b\u0435. \u0418\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u043a \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u0432, \u043f\u0440\u0438\u0447\u0435\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0430\u0443\u0434\u0438\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430. \u0412\u044b\u0445\u043e\u0434 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0442\u0430\u043a \u0436\u0435 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439, \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 Hinge Loss (\u0438\u043b\u0438 MSE Loss \u0438\u0437 <a href=\"https:\/\/arxiv.org\/abs\/1611.04076\">LSGAN<\/a>, \u0430\u0432\u0442\u043e\u0440\u044b \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0442), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0447\u0435\u0442 \u043b\u043e\u0441\u0441\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0431\u0435\u0437 \u0432\u0437\u044f\u0442\u0438\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0432 \u043a\u043e\u043d\u0446\u0435. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0445\u043e\u0434\u043e\u043c \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u0430 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435 Feature Maps, \u0442\u043e \u0435\u0441\u0442\u044c, \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0432\u0441\u0435\u0445 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u0432. \u041d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f Feature Matching Loss, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0435\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c Metric Learning&#8217;\u043e\u043c: \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u0443\u0434\u0438\u043e-\u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u043d\u0435 \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043b\u043e\u0441\u0441-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 <strong>\u043a\u0440\u0430\u0439\u043d\u0435 \u0432\u0430\u0436\u043d\u043e<\/strong>, \u0442\u0430\u043a \u043a\u0430\u043a \u0431\u0435\u0437 \u043d\u0435\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0440\u0430\u0439\u043d\u0435 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d \u0438 \u043d\u0435 \u0434\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n<p><strong>Results<\/strong><\/p>\n<ol>\n<li>\n<p>MOS \u0441\u0440\u0430\u0432\u043d\u0438\u043c, \u043d\u043e \u0432\u0441\u0435 \u0436\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0443 WaveGlow (SOTA).<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c x10 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0443 \u0441\u0430\u043c\u043e\u0439 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043e\u043a\u043e\u0434\u0435\u0440\u0430 \u0434\u043e MelGAN \u043d\u0430 RTX 1080 Ti  (x520 Realtime).<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c x25 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0443 \u0441\u0430\u043c\u043e\u0439 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043e\u043a\u043e\u0434\u0435\u0440\u0430 \u0434\u043e MelGAN \u043d\u0430 CPU (x10 Realtime).<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0432\u0441\u0435\u0433\u043e 5.2 \u043c\u043b\u043d. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0443 WaveGlow &#8212; 87 \u041c\u043b\u043d.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0441\u043f\u0438\u043a\u0435\u0440\u0430\u0445, \u0435\u0441\u043b\u0438 \u0431\u044b\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 multispeaker \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435.<\/p>\n<\/li>\n<\/ol>\n<h4>6. StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Rameen Abdal, Peihao Zhu, Niloy Mitra, Peter Wonka (KAUST, Adobe, 2020)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/2008.02401\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0413\u0440\u0438\u0433\u043e\u0440\u0438\u0439 \u0420\u0430\u0448\u043a\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 logogriph)<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0440\u0435\u0448\u0430\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 stylegan1\/2. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 interfacegan, \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0425\u0430\u0440\u043a\u043e\u043d\u0435\u043d\u0430 \u0441 PCA \u0438 \u0434\u0440. \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432, \u0433\u0434\u0435 \u043a \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 W \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u043b\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430, \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432 W \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 Z-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0438 \u0436\u0435\u043b\u0430\u0435\u043c\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/235\/c95\/adb\/235c95adb924bce70129c09c0e4ca118.jpg\" width=\"735\" height=\"399\"><figcaption><\/figcaption><\/figure>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043f\u043e\u0442\u043e\u043a \u043c\u0435\u0436\u0434\u0443 Z \u0438 W, \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 10\u043a \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438\u0437 Z, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0434\u043b\u044f \u043d\u0438\u0445 W \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u043b\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0442\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Face API \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b: \u0432\u043e\u0437\u0440\u0430\u0441\u0442, \u043f\u043e\u043b, \u043e\u0447\u043a\u0438, \u0443\u0441\u044b\/\u0431\u043e\u0440\u043e\u0434\u0430\/\u0449\u0435\u0442\u0438\u043d\u0430, \u044d\u043a\u0441\u043f\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043b\u0438\u0446\u0430 (\u043d\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u0443\u044f \u044d\u043c\u043e\u0446\u0438\u0438), \u043b\u044b\u0441\u0438\u043d\u0443, \u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u0438 \u043d\u0430\u043a\u043b\u043e\u043d \u0433\u043e\u043b\u043e\u0432\u044b. \u0422\u0430\u043a\u0436\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/zhhoper.github.io\/paper\/zhou_ICCV2019_DPR.pdf\">DPR<\/a> \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 9 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u043e\u0441\u0432\u0435\u0449\u0435\u043d\u0438\u0435\u043c (\u0441\u0444\u0435\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0430\u0440\u043c\u043e\u043d\u0438\u043a\u0438). \u0422\u043e \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e 17 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 gate-biased modulation networks (ConcatSquash \u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b PointFlow \u043d\u0430 \u0431\u0430\u0437\u0435 <a href=\"https:\/\/arxiv.org\/abs\/1810.01367\">FFJORD<\/a>), \u0442.\u043a.\u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u043b\u0438, \u0447\u0442\u043e bias-\u0447\u0430\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0443\u0447\u0438\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430, \u0430 gate-\u0447\u0430\u0441\u0442\u044c \u2014 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0441\u0434\u0432\u0438\u0433\u0430 \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u0442\u043e\u043a \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u0431 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0435, \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u044e\u0442 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 t \u0434\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432, \u043f\u043e\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043d\u043e \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442 \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0432 \u043f\u043e\u0442\u043e\u043a \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043f\u043e\u0442\u043e\u043a \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0430\u0442\u0440\u0438\u0431\u0443\u0442 \u0437\u0430 \u0440\u0430\u0437, \u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u043e\u043b\u044f \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043f\u0443\u0442\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 \u044d\u0442\u043e \u0441\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0442 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b \u0432 \u043e\u0434\u0438\u043d \u0442\u0435\u043d\u0437\u043e\u0440.<\/p>\n<p>\u041d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043f\u0440\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044e \u0432 \u0434\u043e\u043c\u0435\u043d\u0435 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0430\u0434\u043a\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/766\/aa4\/7a6\/766aa47a60e8a607bbfc6f9c572a3b85.jpg\" width=\"499\" height=\"258\"><figcaption><\/figcaption><\/figure>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 4 CNF-\u0431\u043b\u043e\u043a\u0430 \u0438 2 moving batch \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u2014 \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 CNF. \u041c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0441 2-3 CNF \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0414\u043b\u044f \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u0438\u0437 \u0442\u0440\u0435\u0445 \u0448\u0430\u0433\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>Joint Reverse Encoding (JRE) \u043d\u0443\u0436\u043d\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0442\u0440\u043e\u0439\u043a\u0443 w, a \u0438 z. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Face API \u0438 DPR \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b a. \u0415\u0441\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440 w \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f), \u0442\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0435\u0433\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u0441\u0442\u0430\u0439\u043b\u0433\u0430\u043d\u0430. \u041f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c w \u0438 a \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u043e\u0442\u043e\u043a\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c z0.<\/p>\n<\/li>\n<li>\n<p>Conditional Forward Editing (CFE). \u0414\u043b\u044f \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435 z0 \u0438 \u0436\u0435\u043b\u0430\u0435\u043c\u044b\u0445 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430\u0445 a\u2019 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u043e\u0432\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 w\u2019. <\/p>\n<\/li>\n<li>\n<p>Edit Specific Subset Selection. \u042d\u0442\u043e\u0442 \u0448\u0430\u0433 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430. \u0412 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f w-\u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 Z. \u0412 \u0431\u044b\u0441\u0442\u0440\u043e\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430, \u0447\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043d\u0435\u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0430\u043c \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u0441\u043b\u043e\u044f\u043c \u0432 W+.<\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/5f6\/e46\/5215f6e46a30623b196a7f368de1c3f6.jpg\" width=\"1005\" height=\"654\"><figcaption><\/figcaption><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/34c\/e11\/6b4\/34ce116b4d51e3cab7bc9d20bd040f10.jpg\" alt=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438\" title=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438\" width=\"1000\" height=\"343\"><figcaption>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438<\/figcaption><\/figure>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/544320\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/544320\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<ol>\n<li>\n<p>A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer (Tampere University, Finland, 2020)<\/p>\n<\/li>\n<li>\n<p>Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars (Samsung AI Center, 2020)<\/p>\n<\/li>\n<li>\n<p>Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting (University of California, USA, 2019)<\/p>\n<\/li>\n<li>\n<p>Whitening for Self-Supervised Representation Learning (University of Trento, Italy, 2020)<\/p>\n<\/li>\n<li>\n<p>MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis (Lyrebird AI and University of Montreal, 2019)<\/p>\n<\/li>\n<li>\n<p>StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows (KAUST, Adobe, 2020)<\/p>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0441\u0431\u043e\u0440\u043d\u0438\u043a\u0438 \u0441\u0435\u0440\u0438\u0438:<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p>2020 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/493016\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0424\u0435\u0432\u0440\u0430\u043b\u044c<\/a>, \u041c\u0430\u0440\u0442 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/496024\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/497268\/\">\u04472<\/a>, \u0410\u043f\u0440\u0435\u043b\u044c <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/505040\/\">\u04472<\/a>, \u041c\u0430\u0439 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/507880\/\">\u04472<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/515688\/\">\u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/523268\/\">\u0418\u044e\u043b\u044c-\u0410\u0432\u0433\u0443\u0441\u0442<\/a><\/p>\n<\/li>\n<li>\n<p>2019 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/471514\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/472672\/\">\u0418\u044e\u043b\u044c \u2014 \u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/485122\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u0414\u0435\u043a\u0430\u0431\u0440\u044c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/352508\/\">\u0414\u0435\u043a\u0430\u0431\u0440\u044c 2017 \u2014 \u042f\u043d\u0432\u0430\u0440\u044c 2018<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/352518\/\">\u0424\u0435\u0432\u0440\u0430\u043b\u044c \u2014 \u041c\u0430\u0440\u0442 2018<\/a><\/p>\n<\/li>\n<li>\n<p>2017 \u0433\u043e\u0434: <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/336624\/\">\u0410\u0432\u0433\u0443\u0441\u0442<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/339094\/\">\u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/343822\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u041d\u043e\u044f\u0431\u0440\u044c<\/a> <\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<h4>1. A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Vladimir Iashin, Esa Rahtu (Tampere University, Finland, 2020)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/2005.08271\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/v-iashin\/BMT\">GitHub project<\/a> :: <a href=\"https:\/\/v-iashin.github.io\/bmt\">Project<\/a> :: <a href=\"https:\/\/www.bmvc2020-conference.com\/conference\/papers\/paper_0111.html\">Conference page<\/a> :: <a href=\"https:\/\/www.youtube.com\/watch?v=C4zYVIqGDVQ\">\u0412\u0438\u0434\u0435\u043e<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430 \u0438 \u0441\u0442\u0430\u0442\u044c\u0438: \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u042f\u0448\u0438\u043d (\u0432 \u0441\u043b\u044d\u043a\u0435 vdyashin)<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430<\/strong><br \/> \u041f\u043e\u0447\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0435 \u0432\u0438\u0434\u0435\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435, \u0435\u0449\u0435 \u0438\u043c\u0435\u0435\u0442 \u0430\u0443\u0434\u0438\u043e \u0434\u043e\u0440\u043e\u0436\u043a\u0443. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0430\u0443\u0434\u0438\u043e \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0441 \u0432\u0438\u0434\u0435\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432\u0430\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0440\u0435\u0448\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u0437\u0430\u0434\u0430\u0447\u0443. \u0415\u0449\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u0432 \u0434\u0438\u043f\u043b\u0435\u0440\u043d\u0438\u043d\u0433\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e RGB. \u0421\u0435\u0439\u0447\u0430\u0441 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0438 \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 SotA \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u0432\u0435 \u0438 \u0434\u0430\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0417\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u0444\u0438\u0447\u0438 \u0438\u0437 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u043a\u0430\u043a\u0443\u044e-\u043d\u0438\u0431\u0443\u0434\u044c RNN, \u0438 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u0435\u0439 \u0431\u043b\u0438\u0436\u0435 \u043a \u0432\u044b\u0445\u043e\u0434\u0443. \u0412 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440 \u0432 \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u0434\u043b\u044f \u0432\u0445\u043e\u0434\u0430 \u0441 \u0430\u0443\u0434\u0438\u043e \u0438 rgb, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043f\u0440\u044f\u043c\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u043e.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 Dense Video Captioning<\/strong><br \/> \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 Video Captioning, Dense Video Captioning \u0442\u0440\u0435\u0431\u0443\u0435\u0442: <\/p>\n<ol>\n<li>\n<p>\u043d\u0430\u0439\u0442\u0438 &#171;\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435&#187; \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0432 \u0432\u0438\u0434\u0435\u043e (proposal generation);<\/p>\n<\/li>\n<li>\n<p>\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445 (caption generation). <\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p><strong>\u0412 \u0447\u0435\u043c \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0448 \u043f\u043e\u0434\u0445\u043e\u0434?<\/strong><br \/> \u041d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: <em>Bi-modal Transformer<\/em> \u0438 <em>Proposal Generator<\/em>.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0438\u0437 \u043d\u0435\u043c\u0435\u0446\u043a\u043e\u0433\u043e \u0432 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438. \u041e\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u0430. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (source \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439) \u0440\u0430\u0437\u043c\u0435\u0440\u0430 T_src x D (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e<em>\u0441\u043b\u043e\u0432 x \u0440\u0430\u0437\u043c\u0435\u0440<\/em>\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430) \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0443\u0447\u0438\u0442\u044c, \u043a\u0430\u043a \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u0430\u043c \u0438 \u043d\u0430 \u0441\u0435\u0431\u044f \u0441\u0430\u043c\u043e\u0433\u043e (\u0437\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 self-attention). \u0414\u0435\u043a\u043e\u0434\u0435\u0440 \u0436\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (target \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439) \u0440\u0430\u0437\u043c\u0435\u0440\u0430 T_trg x D \u0438 \u0432\u044b\u0445\u043e\u0434 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 T_src x D, \u0438 \u0442\u043e\u0436\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 T_trg x D \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u0432\u0430 (\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043f\u0440\u0438 inference \u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043f\u0440\u0438 train). \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u0437\u0430\u0434 \u2013 \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0440\u0430\u043d\u0435\u0435 (self-attention) \u2013 \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 \u043f\u043e\u0437\u0438\u0446\u0438\u0439 \u0438\u0437 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 (encoder-decoder attention). D \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0434\u043b\u044f \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u0430: \u0442\u0443\u0442 \u0438 \u0442\u0430\u043c \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u0414\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u044d\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u0435\u0449\u0435 \u0438 \u0434\u043e video captioning. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0438\u0434\u0435\u043e \u0432 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439. Source \u0431\u0443\u0434\u0435\u0442 T_src x D_src, \u0430 target T_trg x D_trg (\u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u0433\u043d\u043e\u0432). \u0425\u043e\u0440\u043e\u0448\u043e. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0432\u0435 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 T_m1_src x D_m1_src \u0438 T_m2_src x D_m2_src, \u043d\u0443 \u0438 T_trg x D_trg \u2013 \u0447\u0442\u043e \u0436\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438?<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0444\u0438\u0447\u0438, \u0447\u0442\u043e \u0431\u044b T_m1_src == T_m2_src, \u0442\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0445 \u0441\u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442 \u0432\u0430\u043c \u0432\u044b\u0431\u043e\u0440 \u0444\u0438\u0447\u0435\u0439 (\u043f\u043b\u043e\u0445\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442);<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0442\u0430\u043a\u0438\u043c \u0432\u0445\u043e\u0434\u043e\u043c \u0432 \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0435 \u0438 \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u0435 (Bi-modal Transformer).<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u0422\u0440\u0430\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0435\u0449\u0435 \u0440\u0430\u0437, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u043d \u0436\u0435 \u0443\u043c\u0435\u0435\u0442 \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0440\u0430\u0437\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u044b (T_src \u0438 T_trg) \u0438 \u0437\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 encoder-decoder attention. \u041d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0442\u044b, \u043a\u0430\u043a \u043d\u0438 \u043a\u0440\u0443\u0442\u0438, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0448\u044c, \u0447\u0442\u043e \u0442\u0430 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0434\u0430\u0435\u0448\u044c \u0432 queries \u0433\u043b\u0430\u0432\u043d\u0435\u0435 \u0434\u0440\u0443\u0433\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0434\u0435\u0442 \u0432 keys \u0438 values \u2013 \u0434\u043b\u0438\u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043a\u0430\u043a \u0443 queries. \u0418\u0442\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0444\u044c\u044e\u0437\u0438\u0442\u044c \u0438\u043d\u0444\u0443 \u043f\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 (D_<em>), \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0438 scalled dot-product attention \u043c\u044b \u0432\u0445\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 dense-\u0441\u043b\u043e\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c, \u0430 \u0432\u043e\u0442 \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 (T_<\/em>) \u043d\u0438\u043a\u0430\u043a, \u0438 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c, \u043a\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0432\u0430\u0441 \u0432\u0430\u0436\u043d\u0435\u0435. \u042d\u0442\u043e\u0433\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 Bi-modal Decoder, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0435\u0440\u0435\u0442 \u043e\u0431\u0430 \u0437\u0430\u0444\u044c\u044e\u0436\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0432\u044b\u0445\u043e\u0434\u0430 \u0438\u0437 Bi-modal Encoder \u0438 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u0431\u043e\u0438\u0445 \u043a\u0430\u043a source, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0434\u0432\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c T_trg x D_trg. \u0410 \u0441 \u044d\u0442\u0438\u043c \u0443\u0436\u0435 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u0440\u043e\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c. \u042d\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 Bridge \u0441\u043b\u043e\u0435, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u043a\u0430\u043a \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0438. \u0421\u043c\u043e\u0442\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0412\u0430\u043d\u0438\u043b\u043b\u0430 \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u0411\u0438-\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043d\u0438\u0436\u0435.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0442\u043e\u0440\u043e\u0435: <em>Proposal Generator<\/em>. \u041e\u043d \u0442\u043e\u0436\u0435 \u0434\u0432\u0443-\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0439. \u041f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 T_m1_src x D_m1_src \u0438 T_m2_src x D_m2_src, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 Bi-modal Encoder \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u0430\u0444\u044c\u044e\u0436\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u043e\u0442\u0434\u0430\u0435\u043c Proposal Generator. \u041e\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0438\u0437 K_m1 = K_m2 &#171;\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432&#187; (heads \u2013 \u043d\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0447\u0442\u043e \u0432 Multi-headed Attention). <\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u043e\u0445\u043e\u0436\u0430 \u043d\u0430 \u0441\u043b\u043e\u0439 YOLO \u0438 \u0438\u043c\u0435\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 (k, receptive field) \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u0445\u043e\u0434\u0430 (T_m1_src \u0438\u043b\u0438 T_m2_src), \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0430\u0439\u043e\u0440\u0430 (anchor). \u0418\u0442\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f (T_m1_src * K_m1 * anchor_num_m1) + (T_m2_src * K_m2 * anchor_num_m2) \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u043e\u0432, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0422\u043e\u043f-100 \u043f\u043e &#171;\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438&#187;. \u0421\u0430\u043c\u0430 \u0433\u043e\u043b\u043e\u0432\u0430 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443: \u0442\u0440\u0438 1-D \u0441\u0432\u0435\u0440\u0442\u043a\u0438, \u0433\u0434\u0435 \u043f\u0435\u0440\u0432\u0430\u044f \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 = k, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2013 1. \u0422\u0430\u043a \u043a\u0430\u043a YOLO (v3) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043a\u0435\u0439\u043b\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u0442\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u043c\u044b \u044d\u0442\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c anchors. anchors (\u0438 K_m1) \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0437 K-Means, \u043a\u0430\u043a \u0437\u0430\u0432\u0435\u0449\u0430\u044e\u0442 \u0432\u0435\u043b\u0438\u043a\u0438\u0435.<\/p>\n<p>\u041a\u0430\u043a \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0435 \u044d\u0442\u043e? \u041c\u044b \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c:<\/p>\n<ol>\n<li>\n<p>\u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c Bi-modal Transformer (captioning module) \u043d\u0430 ground-truth \u043e\u0442\u0440\u044b\u0432\u043a\u0430\u0445 \u0432\u0438\u0434\u0435\u043e \u2013 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0445\u043e\u0440\u043e\u0448\u0443\u044e captioning \u043c\u043e\u0434\u0435\u043b\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0431\u0435\u0440\u0435\u043c \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 Bi-modal Encoder, \u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u043c \u0435\u0433\u043e \u0432\u0435\u0441\u0430, \u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c Proposal Generator \u2013 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u2013 \u0432\u0441\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442: \u0431\u0435\u0440\u0435\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0432\u0438\u0434\u0435\u043e, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u044b, \u0440\u0435\u0436\u0435\u043c \u0432\u0438\u0434\u0435\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u0430\u043c, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 Bi-modal Transformer.<\/p>\n<p><strong>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><br \/> \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u0440\u0430\u0441\u0430\u0432\u0446\u0430 \u043d\u0430 Dense Video Captioning, \u0433\u0434\u0435 \u0438\u0437 \u0432\u0438\u0434\u0435\u043e \u0434\u043e\u0441\u0442\u0430\u0435\u043c rgb (-&gt; I3D) \u0438 \u0430\u0443\u0434\u0438\u043e (-&gt; VGGish) \u0442\u0440\u0435\u043a\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u043d\u0438\u0436\u0435. \u041c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043c\u043d\u043e\u0433\u043e ablation \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0438 \u0447\u0430\u0441\u0442\u0438 \u043d\u0430\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<h4>2. Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Egor Zakharov, Aleksei Ivakhnenko, Aliaksandra Shysheya, Victor Lempitsky (Samsung AI Center, 2020)<br \/> <a href=\"https:\/\/arxiv.org\/abs\/2008.10174\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/saic-violet\/bilayer-model\">GitHub project<\/a> :: <a href=\"https:\/\/saic-violet.github.io\/bilayer-model\/\">Blog<\/a><br \/> \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430 \u0438 \u0441\u0442\u0430\u0442\u044c\u0438: \u0415\u0433\u043e\u0440 \u0417\u0430\u0445\u0430\u0440\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 e.zakharov)<\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u043d\u043e\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u043b\u0430\u0435\u0442 \u0443\u043f\u043e\u0440 \u043d\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043f\u0440\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0438 \u043f\u043e\u0431\u0438\u043b\u0438 SotA \u0434\u043b\u044f \u0441\u0435\u0442\u0442\u0438\u043d\u0433\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435\u043c real-time \u043d\u0430 \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u0445.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430<\/strong><br \/> \u0410\u0432\u0430\u0442\u0430\u0440\u044b &#8212; \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0441\u0435\u043b\u0444\u0438 \u043c\u043e\u0433\u0443\u0442 \u0430\u043d\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0441 \u043d\u0438\u0445 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0435. \u0412 \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0430\u0445.<\/p>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0442\u0430\u043a\u0430\u044f SOTA \u043c\u0435\u0442\u043e\u0434\u044b \u0442\u0440\u0430\u0442\u044f\u0442 \u043d\u0430 \u043f\u0440\u043e\u0433\u043e\u043d \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u0430\u0434\u0440\u0430 \u0432 3-5 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0447\u0435\u043c \u043d\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u0430 \u043f\u043e\u0442\u043e\u043c \u0433\u043e\u043d\u044f\u044e\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c 30 \u0440\u0430\u0437 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0412 \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043d\u043e\u0432\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 10 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0447\u0435\u043c \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f &#8212; \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u0434\u043e.<\/p>\n<p><strong>\u041c\u0435\u0442\u043e\u0434<\/strong><br \/> \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0438\u043c\u0435\u044e\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430-\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430: \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0430 \u0437\u0430\u0442\u0435\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0435. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u0432 \u0446\u0435\u043b\u043e\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u043e\u0436\u0430\u0442\u044c \u0434\u0435\u043a\u043e\u0434\u0435\u0440. \u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u043a\u0430\u043c \u0431\u043e\u043b\u044c\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u043f\u043e \u043c\u0435\u0440\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438: \u043f\u0435\u0440\u0432\u0430\u044f \u0441\u0435\u0442\u043a\u0430 (\u0442\u043e\u043b\u0441\u0442\u0430\u044f) \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u0443\u044e \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0443 \u0434\u043b\u044f \u0433\u043e\u043b\u043e\u0432\u044b, \u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u0441\u0435\u0442\u043a\u0430 (\u0442\u043e\u043d\u043a\u0430\u044f) &#8212; \u043d\u0438\u0437\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u0443\u044e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u0434\u043b\u044f \u0432\u044b\u0445\u043e\u0434\u0430 \u0438 \u0432\u0430\u0440\u043f\u0438\u043d\u0433 \u043f\u043e\u043b\u0435. \u0412\u044b\u0445\u043e\u0434\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u043f\u0430 \u043a \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0435 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0430, \u0430 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u0430 \u0441\u0435\u0442\u043e\u043a &#8212; \u043d\u0438\u0436\u0435.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0423 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432: \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0435\u0442\u043a\u043e\u0439 (\u0442\u0435\u043a\u0441\u0442\u0443\u0440\u043d\u044b\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c), \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u043e\u0437\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043d\u0430 \u0430\u0432\u0430\u0442\u0430\u0440, \u0430 \u043e\u0431\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u0435\u0442\u043a\u0438 (\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430) \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0447\u0430\u0441\u0442\u043e\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c. \u0411\u043e\u043d\u0443\u0441\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e, \u0447\u0442\u043e \u0432\u0441\u0451 \u0443\u0447\u0438\u0442\u0441\u044f end-to-end \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0436\u0435\u043d\u043e\u043c \u043d\u0430 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u043f\u043e\u0434\u0443\u043c\u0430\u043b\u0438: \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0441\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0430, \u0442\u043e \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u0435\u0449\u0451 \u043b\u0443\u0447\u0448\u0435 \u0437\u0430\u0444\u0438\u0442\u0438\u0442\u044c \u043c\u0435\u043b\u043a\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0440\u0435\u0439\u043d\u0430. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0442\u0443\u0442 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0438\u0434\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043b\u0438\u0446\u0430, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0430 \u043f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u043c [Learned Gradient Descent]() (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435, \u0435\u0433\u043e <a href=\"https:\/\/augmentedperception.github.io\/deepview\/\">\u043a\u0440\u0443\u0442\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c<\/a>), \u0438 \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u0443\u044e \u0441\u0435\u0442\u043a\u0443: \u043e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0443, \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u0435, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u043b\u043e\u0441\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, sum of squared errors) \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u043b\u044f \u043d\u0435\u0451 \u0430\u043f\u0434\u0435\u0439\u0442.<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u044d\u043a\u043f\u0440\u043e\u043f\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043f\u0438\u0439 (\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0430\u043f\u0434\u0435\u0439\u0442\u0430 \u0442\u0435\u043a\u0441\u0442\u0443\u0440\u044b \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439). \u0412 \u0438\u0442\u043e\u0433\u0435 \u044d\u0442\u0430 \u0441\u0435\u0442\u043a\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u044c\u044e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438<\/p>\n<\/p>\n<p><\/br><\/p>\n<\/p>\n<\/p>\n<p><\/br><\/p>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-318895","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/318895","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=318895"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/318895\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=318895"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=318895"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=318895"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}