{"id":305370,"date":"2020-06-15T15:01:38","date_gmt":"2020-06-15T15:01:38","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=305370"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=305370","title":{"rendered":"\u0420\u0443\u0431\u0440\u0438\u043a\u0430 \u00ab\u0427\u0438\u0442\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u044c\u0438 \u0437\u0430 \u0432\u0430\u0441\u00bb. \u041c\u0430\u0439 2020. \u0427\u0430\u0441\u0442\u044c 1"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-efficient-document-re-ranking-for-transformers-by-precomputing-term-representations-earl-speedup-transformer-based-rankers-with-pre-computed-representation\">Efficient Document Re-Ranking for Transformers by Precomputing Term Representations; EARL: Speedup Transformer-based Rankers with Pre-computed Representation (2020)<\/a><\/li>\n<li><a href=\"#2-makeittalk-speaker-aware-talking-head-animation\">MakeItTalk: Speaker-Aware Talking Head Animation (Adobe, University of Massachusetts Amherst, Huya, 2020)<\/a><\/li>\n<li><a href=\"#3-jukebox-a-generative-model-for-music\">Jukebox: A Generative Model for Music (OpenAI, 2020)<\/a><\/li>\n<li><a href=\"#4-recipes-for-building-an-open-domain-chatbot\">Recipes for building an open-domain chatbot (Facebook AI Research, 2020)<\/a><\/li>\n<li><a href=\"#5-one-shot-object-detection-without-fine-tuning\">One-Shot Object Detection without Fine-Tuning (HKUST, Hong Kong, Tencent, 2020)<\/a><\/li>\n<li><a href=\"#6-f-brs-rethinking-backpropagating-refinement-for-interactive-segmentation\">f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation (Samsung AI Center, Moscow, 2020)<\/a><\/li>\n<li><a href=\"#7-flowtron-an-autoregressive-flow-based-generative-network-for-text-to-speech-synthesis\">Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis (NVIDIA, 2020)<\/a><\/li>\n<\/ol>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0441\u0431\u043e\u0440\u043d\u0438\u043a\u0438 \u0441\u0435\u0440\u0438\u0438:<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<ul>\n<li>2020 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/493016\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0424\u0435\u0432\u0440\u0430\u043b\u044c<\/a>, \u041c\u0430\u0440\u0442 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/496024\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/497268\/\">\u04472<\/a>, \u0410\u043f\u0440\u0435\u043b\u044c <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/505040\/\">\u04472<\/a><\/li>\n<li>2019 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/471514\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/472672\/\">\u0418\u044e\u043b\u044c \u2014 \u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/485122\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u0414\u0435\u043a\u0430\u0431\u0440\u044c<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/352508\/\">\u0414\u0435\u043a\u0430\u0431\u0440\u044c 2017 \u2014 \u042f\u043d\u0432\u0430\u0440\u044c 2018<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/352518\/\">\u0424\u0435\u0432\u0440\u0430\u043b\u044c \u2014 \u041c\u0430\u0440\u0442 2018<\/a><\/li>\n<li>2017 \u0433\u043e\u0434: <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/336624\/\">\u0410\u0432\u0433\u0443\u0441\u0442<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/339094\/\">\u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/343822\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u041d\u043e\u044f\u0431\u0440\u044c<\/a> <\/li>\n<\/ul>\n<\/div><\/div>\n<p>  <\/p>\n<h3 id=\"1-efficient-document-re-ranking-for-transformers-by-precomputing-term-representations-earl-speedup-transformer-based-rankers-with-pre-computed-representation\">1. Efficient Document Re-Ranking for Transformers by Precomputing Term Representations; EARL: Speedup Transformer-based Rankers with Pre-computed Representation<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 1: Sean MacAvaney, Franco Maria Nardini, Raffaele Perego, Nicola Tonellotto, Nazli Goharian, Ophir Frieder (USA, Italy, 2020)<br \/>  \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 2: Luyu Gao, Zhuyun Dai, Jamie Callan (Carnegie Mellon University, USA, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.14255\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 1<\/a> :: <a href=\"https:\/\/arxiv.org\/abs\/2004.13313\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 2<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u0411\u0443\u0433\u0430\u0439 (\u0432 \u0441\u043b\u044d\u043a\u0435 smartvlad, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/vbougay\/\">vbougay<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0414\u0432\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0441 \u0440\u0430\u0437\u043d\u0438\u0446\u0435\u0439 \u0432 \u043e\u0434\u0438\u043d \u0434\u0435\u043d\u044c \u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0439 \u0438\u0434\u0435\u0435\u0439. \u0422\u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439 \u043a\u043e\u0433\u0434\u0430 \u0434\u0443\u043c\u0430\u0435\u0448\u044c \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e\u0433\u043e \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0441\u0434\u0435\u043b\u0430\u043b \u0440\u0430\u043d\u044c\u0448\u0435.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0443\u0436\u0435 \u043d\u0430\u0431\u0438\u043b\u0430 \u043e\u0441\u043a\u043e\u043c\u0438\u043d\u0443, \u043e\u043d\u0438 \u0441 \u0442\u0440\u0443\u0434\u043e\u043c \u0437\u0430\u0445\u043e\u0434\u044f\u0442 \u0432 real-time \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u041c\u0430\u0441\u0441\u0430 \u0443\u0441\u0438\u043b\u0438\u0439 \u0442\u0440\u0430\u0442\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044e, \u043f\u0440\u0443\u043d\u0438\u043d\u0433, \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e, \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u0430.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 (\u0437\u0430\u044f\u0432\u043b\u044f\u044e\u0442 40x). \u041f\u043e\u0434\u0445\u043e\u0434 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0438\u0440\u0443\u0435\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043e\u0442\u043d\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u0412 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u0437\u0430\u043f\u0440\u043e\u0441-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432\u0445\u043e\u0434 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u0441\u043b\u043e\u0438. \u0422\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e\u0442\u043d\u0438 \u0440\u0430\u0437, \u0430 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0437\u0430\u0442\u044e\u043d\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0438 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0432 \u043d\u0435\u043c \u044f\u0432\u043d\u043e \u043c\u043e\u0434\u0443\u043b\u0438 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0445 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0445 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u0438\u0437\u0431\u0435\u0433\u0430\u044f \u043c\u0430\u0441\u0441\u044b \u043d\u0435\u043d\u0443\u0436\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 40 \u0440\u0430\u0437 \u0431\u0435\u0437 \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u043f\u043e\u0442\u0435\u0440\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0438 \u043d\u0430 WebTrack 2012, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0430 MS Marco. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0438 \u0441 Vanilla BERT.<\/p>\n<p>  <\/p>\n<p>\u0418\u0437 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u0435\u0449\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0441 \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430, \u0447\u0442\u043e \u0431\u0435\u0437 \u0443\u0449\u0435\u0440\u0431\u0430 \u0434\u043b\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043a\u0440\u043e\u043c\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e 12-\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/k4\/hy\/k9\/k4hyk9m6k-ng1ycxnqyhqge-juu.png\" width=\"400\">  <\/p>\n<p><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 PreTRR<\/strong>, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 N-\u0441\u043b\u043e\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u0438 \u043a\u044d\u0448\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0431\u0430\u0437\u0435 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432\u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432. \u0422\u043e\u0442 \u0436\u0435 \u0441\u0430\u043c\u044b\u0439 \u0442\u0440\u044e\u043a \u043f\u0440\u043e\u0434\u0435\u043b\u044b\u0432\u0430\u044e\u0442 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0434\u043b\u044f \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0433\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/na\/2v\/1t\/na2v1tstcsckr5u5p5som3tns8e.png\"><\/p>\n<p><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 EARL<\/strong>, \u0442\u0443\u0442 \u044f\u0432\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u043b\u0438 \u0431\u043b\u043e\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 (\u043f\u043e\u0447\u0442\u0438 \u0441\u0438\u0430\u043c\u0441\u043a\u0430\u044f \u0441\u0435\u0442\u043a\u0430), \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0441\u0432\u043e\u0434\u044f\u0442 \u0438\u0445 \u0432 \u0431\u043b\u043e\u043a-\u043e\u0446\u0435\u043d\u0449\u0438\u043a (Judger).<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nt\/54\/lw\/nt54lweegygqvhqb1skt01xqgio.png\">  <\/p>\n<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 PreTRR \u0441 \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u043e\u0435\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 100 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/e2\/n9\/lo\/e2n9lo9yt1pvkj8cb9uf98xcfqm.png\" width=\"300\"> <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/oe\/fq\/pr\/oefqpr98efqvhrjrr9rodapxp2e.png\" width=\"300\">  <\/p>\n<h3 id=\"2-makeittalk-speaker-aware-talking-head-animation\">2. MakeItTalk: Speaker-Aware Talking Head Animation<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Yang Zhou, DIngzeyu Li, Xintong Han, Evangelos Kalogerakis, Eli Shechtman, Jose Echevarria (Adobe, University of Massachusetts Amherst, Huya, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.12992\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041a\u0430\u0448\u0438\u043d (\u0432 \u0441\u043b\u044d\u043a\u0435 digitman, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/digitman\/\">digitman<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0413\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0430\u043d\u0438\u043c\u0430\u0446\u0438\u044e \u043b\u0438\u0446 \u043f\u043e \u0433\u043e\u043b\u043e\u0441\u0443 \u0438 \u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044e. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0437\u0432\u0443\u043a \u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0438 &quot;\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c&quot;, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e \u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0430\u043d\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0441\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0432\u0438\u0433\u0430\u0442\u044c \u0433\u043e\u043b\u043e\u0432\u0443 (\u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u0442\u044b \u043b\u0438\u0446\u0430).<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ue\/e0\/9u\/uee09ufswucgyuwfobhmze8i1ky.png\"><\/p>\n<p>\u0418\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0438\u0446\u0430 \u0434\u043e\u0441\u0442\u0430\u044e\u0442 68 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432. \u0412\u0445\u043e\u0434\u043d\u043e\u0439 \u0437\u0432\u0443\u043a \u043f\u0440\u043e\u0446\u0435\u0441\u044f\u0442 (\u043c\u0435\u043b \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430) \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 (conv-\u044b c lstm). Content embedding \u2014 \u0434\u043e\u0441\u0442\u0430\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u043b\u043e\u0432\u0430\u0445 (\u0444\u043e\u043d\u0435\u043c\u0430\u0445), \u043d\u0435 \u0446\u0435\u043f\u043b\u044f\u044f\u0441\u044c \u0437\u0430 &quot;\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c&quot;. \u041a\u043e\u043d\u0442\u0435\u043d\u0442 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 (\u043e\u043a\u043d\u0430\u043c\u0438 \u043f\u043e 300\u043c\u0441) \u0438\u0434\u0435\u0442 \u0432 LSTM, \u0430 \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u043d\u043a\u0430\u0442\u0438\u0442\u0441\u044f \u0441 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u0430\u043c\u0438 \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 MLP, \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432. \u041d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u043e\u0435 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043b\u0438\u0446\u0430 (\u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432) \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0437\u0432\u0443\u043a\u0430, \u043d\u043e \u0441 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c \u043b\u0438\u0446\u0430. \u0412\u0430\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442, \u0430 \u043d\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435, \u0447\u0442\u043e\u0431\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043d\u0430 \u043c\u0443\u043b\u044c\u0442\u044f\u0448\u043d\u044b\u0445 \u043b\u0438\u0446\u0430\u0445.<\/p>\n<p>  <\/p>\n<p>Speaker Identity embedding \u2014 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0438\u0437 \u0433\u043e\u043b\u043e\u0441\u0430. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0430\u0443\u0434\u0438\u043e \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u0412 \u044d\u0442\u043e\u043c \u0431\u043b\u043e\u043a\u0435 (\u043d\u0438\u0436\u043d\u0438\u0439 \u043d\u0430 \u0441\u0445\u0435\u043c\u0435) \u043e\u043f\u044f\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 + LSTM (\u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0435\u0441\u0430), \u0432\u044b\u0445\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0430\u0442\u0438\u043b\u0438 \u0441\u043e \u0441\u043f\u0438\u043a\u0435\u0440 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u043e\u043c \u0438 \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0438 \u0432 self attention (\u0441 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u043e\u043a\u043d\u043e\u043c 4 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u0443\u0447\u0435\u0441\u0442\u044c \u043c\u043e\u0442\u0430\u043d\u0438\u044f \u0433\u043e\u043b\u043e\u0432\u043e\u0439). \u0412 \u043a\u043e\u043d\u0446\u0435 \u0432\u044b\u0434\u0430\u044e\u0442\u0441\u044f \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vp\/gl\/_q\/vpgl_qfhvdimqgpkgxes9m2mszw.png\"><\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u043d\u043e\u0432\u043e\u0435 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432, \u043d\u0443\u0436\u043d\u043e \u043a\u0430\u043a \u0442\u043e \u043d\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u043d\u0438\u0445 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u043b\u0438\u0446\u043e. \u0414\u043b\u044f <strong>\u043c\u0443\u043b\u044c\u0442\u044f\u0448\u043d\u044b\u0445 \u043b\u0438\u0446<\/strong> \u0434\u0435\u043b\u0430\u044e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0430\u0440\u043f\u0438\u043d\u0433 \u043d\u0430 \u0442\u0440\u0438\u0430\u043d\u0433\u0443\u043b\u044f\u0446\u0438\u0438 \u043b\u0438\u0446\u0430 \u043f\u043e \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u0430\u043c. \u0414\u043b\u044f \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u0431\u0440\u0430\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0441\u0435\u0442\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 &quot;\u043d\u0435\u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e\u043c&quot; \u0434\u043e\u043c\u0435\u043d\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/88\/kt\/mg\/88ktmgqibgtdh0-ivsfnbessp7o.png\" width=\"400\"><\/p>\n<p>\u0414\u043b\u044f <strong>\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043b\u0438\u0446<\/strong> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 image2image \u0441\u0435\u0442\u043a\u0443(U-net like). \u041d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0442\u0430\u0440\u0433\u0435\u0442 \u043b\u0430\u043d\u0434\u043c\u0430\u0440\u043e\u043a, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435. \u041b\u0430\u043d\u0434\u043c\u0430\u0440\u043a\u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u0432 \u0433\u0440\u0443\u043f\u043f\u044b \u0438 \u0437\u0430\u043b\u0438\u0432\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0446\u0432\u0435\u0442\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f <strong>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0432\u0435\u0442\u043a\u0438<\/strong> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 6 \u0447\u0430\u0441\u043e\u0432 \u0432\u0438\u0434\u0435\u043e \u0441 \u041e\u0431\u0430\u043c\u043e\u0439, \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u044b \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0431\u044b\u043b\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0433\u043e\u043b\u043e\u0432\u044b, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043c\u0438\u043a\u0430 \u043b\u0438\u0446\u0430(\u043a\u0430\u043a \u043d\u0435 \u0441\u0442\u0440\u0430\u043d\u043d\u043e, \u043e\u0434\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0431\u044b\u043b\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e). \u041b\u043e\u0441\u0441 \u2014 l2 \u043c\u0435\u0436\u0434\u0443 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u0430\u043c\u0438 \u0438 l2 \u043c\u0435\u0436\u0434\u0443 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u0430\u043c\u0438 (respective graph Laplacian coordinates).<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f <strong>speaker aware \u0432\u0435\u0442\u043a\u0438<\/strong> \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435\u043c \u043b\u044e\u0434\u0435\u0439 \u2014 VoxCeleb2. \u0422\u0443\u0442 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u2014 \u043d\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0438 \u043b\u0430\u043d\u0434\u043c\u0430\u0440\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0442\u0430\u043d\u0438\u044f \u0433\u043e\u043b\u043e\u0432\u043e\u0439. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0433\u0430\u043d \u043b\u043e\u0441\u0441, \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0442\u0430\u043d\u0438\u044f \u0438 \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u0435\u0439 \u043b\u0438\u0446\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e. \u0414\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440 \u0442\u043e\u0436\u0435 \u0441 self attention, \u043b\u043e\u0441\u0441 \u2014 LSGAN. \u041a \u0430\u0434\u0432\u0435\u0441\u0435\u0440\u0438\u0430\u043b \u043b\u043e\u0441\u0441\u0443 \u043d\u0430 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u044b \u0442\u0430\u043a\u0436\u0435 \u0431\u044b\u043b\u0438 \u043b\u043e\u0441\u0441\u044b \u0438\u0437 \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0432\u0435\u0442\u043a\u0438.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f <strong>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f image2image<\/strong> \u0442\u043e\u0436\u0435 VoxCeleb2, \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0441\u0435\u043c\u043f\u043b\u0438\u043b\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u0441\u043e\u0440\u0441 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0438 \u0442\u0430\u0440\u0433\u0435\u0442 (\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u043d\u044b\u0439 \u0432 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 \u043b\u0430\u043d\u0434\u043c\u0430\u0440\u043e\u043a). \u041b\u043e\u0441\u0441 \u2014 l1 \u0438 perceptual vgg loss.<\/p>\n<p>  <\/p>\n<p>\u041e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0438\u0441\u044c \u0441 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430\u043c\u0438, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0432\u0435\u0440\u0438\u0442\u0441\u044f. \u041c\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u0440\u0438\u043a, \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u044e\u0437\u0435\u0440\u0441\u0442\u0430\u0434\u0438. \u0410 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0442\u0430\u043d\u0438\u044f \u0433\u043e\u043b\u043e\u0432\u043e\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0438 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u044b \u043d\u0430 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u0445, \u0442.\u043a. \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u043b\u0438 \u044d\u0442\u043e. \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0430\u0431\u043b\u0435\u0439\u0448\u043d \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0432\u0435\u0442\u043e\u043a \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xd\/sa\/u-\/xdsau-3w9l6vomabw8tdgkszprs.png\" width=\"500\"><\/p>\n<h3 id=\"3-jukebox-a-generative-model-for-music\">3. Jukebox: A Generative Model for Music<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Prafulla Dhariwal, Heewoo Jun, Christine Payne, Jong Wook Kim, Alec Radford, Ilya Sutskever (OpenAI, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2005.00341\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/openai\/jukebox\">GitHub project<\/a> :: <a href=\"https:\/\/jukebox.openai.com\/\">Blog<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0440\u044b\u0432\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043e\u0442 OpenAI \u043f\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u0443\u0437\u044b\u043a\u0438 \u0438 \u043f\u0435\u0441\u0435\u043d.<br \/>  \u0414\u043e\u0431\u0438\u043b\u0438\u0441\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u0437\u0432\u0443\u0447\u0430\u043d\u0438\u044f \u0433\u043e\u043b\u043e\u0441\u0430, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0442\u0438\u043b\u0435\u0439, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u043e\u0432\u044b\u0445 \u0433\u0430\u0440\u043c\u043e\u043d\u0438\u043a \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0439.<\/p>\n<p>  <\/p>\n<p>\u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 hierarchical Vector Quantized VAE (VQ-VAE), \u0447\u0442\u043e\u0431\u044b \u0441\u0436\u0430\u0442\u044c \u0430\u0443\u0434\u0438\u043e \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441 \u043b\u043e\u0441\u0441-\u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u043c\u0443\u0437\u044b\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041f\u043e\u0432\u0435\u0440\u0445 \u044d\u0442\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0438\u043e\u043d\u043d\u044b\u0435 Sparse Transformers, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0430\u043f\u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0441\u0436\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0442\u0440\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 VQ-VAE \u0434\u043b\u044f \u0442\u0440\u0451\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0441\u0436\u0430\u0442\u0438\u044f \u0438 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<p>  <\/p>\n<p>\u0421\u0443\u0442\u044c VQ-VAE \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0443\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0432 \u0431\u043e\u0442\u043b\u043d\u0435\u043a\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Codebook \u2014 \u044d\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0438\u0437 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0432 Codebook, \u0430 \u0432 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438\u0437 Codebook. \u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0443.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ig\/ll\/vd\/igllvdlh6thhql6hwulvqvls1i4.png\"><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f VQ-VAE \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u044d\u043c\u043f\u043b\u044b \u0438\u0437 \u0441\u0436\u0430\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043f\u0440\u0438\u0447\u0435\u043c \u0441\u043e \u0432\u0441\u0435\u0445 \u0442\u0440\u0451\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f Transformers with sparse attention, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0438 \u0441\u043e\u0442\u0430 \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438. \u0414\u043b\u044f \u0430\u043f\u0441\u0435\u043c\u043f\u043b\u0438\u043d\u0433\u0430 \u0442\u0440\u0430\u043d\u0441\u043e\u0444\u0440\u043c\u0435\u0440\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u0430\u0442\u044c conditonal \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u043a\u043e\u0434\u043e\u0432 \u0432\u0435\u0440\u0445\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 deep residual WaveNet \u043f\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u043e\u043a\u043d\u0443 \u043a\u043e\u0434\u043e\u0432 \u0432\u0435\u0440\u0445\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f, \u0438\u0445 \u0430\u0443\u0442\u043f\u0443\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0432 \u0430\u043f\u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b.<\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0430\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043d\u0430 \u0430\u0440\u0442\u0438\u0441\u0442\u0430 \u0438 \u0436\u0430\u043d\u0440, \u0434\u043b\u044f \u043f\u0435\u0441\u0435\u043d \u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043b\u0435\u0439\u0431\u043b\u044b. \u042d\u0442\u043e\u0433\u043e \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u043b\u043e, \u0447\u0442\u043e\u0431 \u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u0432\u043d\u044f\u0442\u043d\u0443\u044e \u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u0443\u044e \u0440\u0435\u0447\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u0430\u043b\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0435\u0449\u0451 \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u043c. \u0417\u0430\u0434\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043a\u0430\u043a \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0432 \u043f\u0435\u0441\u043d\u044e \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0440\u043e\u0432\u043d\u044f\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0442\u0435\u043a\u0441\u0442 + \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0447\u0438\u0441\u0442\u0443\u044e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 Spleeter, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0442\u0430\u0449\u0438\u0442\u044c \u0433\u043e\u043b\u043e\u0441 \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0435\u0441\u043d\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c NUS AutoLyricsAlign, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043b\u043e\u0432. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u044d\u043d\u043a\u043e\u0434\u0435\u0440-\u0434\u0435\u043a\u043e\u0434\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0430\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043d\u0430 \u0431\u0443\u043a\u0432\u044b \u0442\u0435\u043a\u0441\u0442\u0430, \u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0432\u044b\u0434\u0430\u0435\u0442 \u0444\u0438\u0447\u0438 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430, \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0447\u0435\u0440\u0435\u0437 \u0430\u0442\u0442\u0435\u043d\u0448\u043d \u0432\u044b\u0434\u0430\u0435\u0442 \u0442\u043e\u043f-\u043b\u0435\u0432\u0435\u043b \u0442\u043e\u043a\u0435\u043d\u044b \u043c\u0443\u0437\u044b\u043a\u0438. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0435\u043d VQ-VAE, \u0430\u043f\u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b \u0438 \u043f\u0440\u0438\u043e\u0440\u044b \u0442\u043e\u043f-\u0443\u0440\u043e\u0432\u043d\u0435\u0439, \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043f-\u043b\u0435\u0432\u0435\u043b \u043a\u043e\u0434\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u0437\u0430 \u0440\u0430\u0437: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d, \u0437\u0430\u0442\u0435\u043c \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u0438\u043d\u043f\u0443\u0442\u044b, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0434\u0430\u0442\u044c \u0430\u0443\u0442\u043f\u0443\u0442 \u0442\u043e\u043a\u0435\u043d, conditioned \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/di\/9v\/ms\/di9vmswalalilskw_yecsgpnijy.png\"><\/p>\n<p>VQ-VAE \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f 3 \u0434\u043d\u044f \u043d\u0430 256\u0445V100. \u0410\u043f\u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c 2 \u043d\u0435\u0434\u0435\u043b\u0438 \u043d\u0430 128xV100. \u041f\u0440\u0438\u043e\u0440\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c 4 \u043d\u0435\u0434\u0435\u043b\u0438 \u043d\u0430 512xV100. <\/p>\n<p>  <\/p>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u0435\u0440\u0432\u0430\u044f \u0432 \u0441\u0432\u043e\u0451\u043c \u0440\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0437\u0432\u0443\u0447\u0430\u0449\u0438\u0435 \u0446\u0435\u043b\u044b\u0435 \u043f\u0435\u0441\u043d\u0438, \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0438\u043b\u0438, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0438 \u0442. \u043f. \u0423 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u043c\u0438\u043d\u0443\u0442\u044b \u0442\u043e\u043f-\u043b\u0435\u0432\u0435\u043b \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0447\u0430\u0441. \u0418 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 8 \u0447\u0430\u0441\u043e\u0432 \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0430\u043f\u0441\u0435\u043c\u043f\u043b \u043e\u0434\u043d\u043e\u0439 \u043c\u0438\u043d\u0443\u0442\u044b \u0442\u043e\u043f-\u043b\u0435\u0432\u0435\u043b \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u041c\u0443\u0437\u044b\u043a\u0430 \u0445\u043e\u0442\u044c \u0438 \u0437\u0432\u0443\u0447\u0438\u0442 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0445\u0443\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u0430 \u0433\u043e\u043b\u043e\u0441 \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u0432\u043d\u044f\u0442\u043d\u044b\u0439 \u0438 \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u0431\u043e\u0440\u043c\u043e\u0442\u0430\u043d\u0438\u0435.\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043e\u0447\u0435\u043d\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438, \u043d\u043e \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0440\u0435\u0441\u0435\u0440\u0447\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0434\u0435\u044e\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0438 \u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>  <\/p>\n<h3 id=\"4-recipes-for-building-an-open-domain-chatbot\">4. Recipes for building an open-domain chatbot<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, Jason Weston (Facebook AI Research, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.13637\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/parl.ai\/projects\/recipes\/\">Open source<\/a> :: <a href=\"https:\/\/ai.facebook.com\/blog\/state-of-the-art-open-source-chatbot\/\">Blog<\/a> :: <a href=\"https:\/\/colab.research.google.com\/drive\/1JxuWRZCV0C7bfCR6gvrju8noagIUj0oi?usp=sharing\">Colab<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u0440\u0442\u0435\u043c \u0420\u043e\u0434\u0438\u0447\u0435\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 fuckai)<\/p>\n<p>  <\/p>\n<p>\u0424\u0435\u0439\u0441\u0431\u0443\u043a \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b \u0438 \u0437\u0430\u0440\u0435\u043b\u0438\u0437\u0438\u043b SOTA open-domain \u0447\u0430\u0442\u0431\u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u044c. \u041b\u0443\u0447\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 2.7\u0412 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0441\u0430\u043c\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u2014 9.4B. \u041f\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u2014 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. \u041d\u0430 human evaluation \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 FB \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 SOTA \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 Meena \u043e\u0442 \u0433\u0443\u0433\u043b\u0430.<\/p>\n<p>  <\/p>\n<p>\u0412\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0432\u0441\u0435 \u2014 \u043a\u043e\u0434, \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0434\u043b\u044f \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0430. \u0412 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u043a Meena \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u043f\u043e \u0441\u0443\u0442\u0438 \u0434\u0432\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0444\u0430\u0439\u043d\u0442\u044e\u043d \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e\u043c \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435;<\/li>\n<li>\u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0430 \u043e\u0442\u0432\u0435\u0442\u0430.<\/li>\n<\/ul>\n<p>  <\/p>\n<p><strong>\u0421\u0443\u0442\u044c<\/strong><br \/>  \u041d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/p>\n<p>  <\/p>\n<ul>\n<li><em>retrieval-based<\/em> \u2014 \u041d\u0430 \u0432\u0445\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0440\u0435\u0441\u043f\u043e\u043d\u0441\u043e\u0432, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0434\u0430\u0442\u044c \u0442\u043e\u043f \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0440\u0435\u0441\u043f\u043e\u043d\u0441\u043e\u0432 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 Poly-encoder \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e \u0441\u0443\u0442\u0438 \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u0432\u0443\u0431\u0430\u0448\u0435\u043d\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440-\u0435\u043d\u043a\u043e\u0434\u0435\u0440, \u0433\u0434\u0435 \u043e\u0434\u043d\u0430 \u0431\u0430\u0448\u043d\u044f \u2014 \u0435\u043d\u043a\u043e\u0434\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0432\u0442\u043e\u0440\u0430\u044f \u2014 \u0435\u043d\u043a\u043e\u0434\u0435\u0440 \u0440\u0435\u0441\u043f\u043e\u043d\u0441\u0430, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u2014 dot product, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0441\u043f\u043e\u043d\u0441\u0430 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/li>\n<li><em>\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435<\/em> \u2014 \u041d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0441\u043f\u043e\u043d\u0441. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u2014 encoder-decoder transformer, \u043c\u0430\u043b\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u0435\u043d\u043a\u043e\u0434\u0435\u0440, \u043c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440. \u041d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0442\u0440\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432: 90M, 2.7B (\u0440\u043e\u0432\u043d\u043e \u043a\u0430\u043a \u0432 Meena), 9.4B.<\/li>\n<li><em>retrieve and refine<\/em> \u2014 \u0421\u043c\u0435\u0441\u044c \u0434\u0432\u0443\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0432\u044b\u0448\u0435. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0438\u0437 retrieval-based \u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u043f\u043e\u0434\u0430\u0435\u043c \u0438\u0445 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043e\u043a \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0430 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0440\u0435\u0434\u0434\u0438\u0442\u0430. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0438\u043c\u0435\u0435\u0442 1.5B \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0438 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u043d\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043a\u0430\u043a \u0442\u0440\u0435\u0439\u043d\u0430, \u0442\u0430\u043a \u0438 \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0430 \u0434\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u043e\u0432:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <em>unlikelihood \u043b\u043e\u0441\u0441\u0430<\/em>. \u041f\u043e \u0441\u0443\u0442\u0438 \u0432 \u043b\u043e\u0441\u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u043f\u043e\u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0445 \u043d\u0433\u0440\u0430\u043c\u043c, \u0447\u0442\u043e\u0431\u044b \u0444\u043e\u0440\u0441\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0441\u043b\u043e\u0432 \u0438 \u043a\u043e\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u0439 \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430.<\/li>\n<li><em>subsequence blocking<\/em>. \u0412\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c \u0440\u0435\u0441\u043f\u043e\u043d\u0441\u044b \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u043d\u0433\u0440\u0430\u043c\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0438\u043b\u0438 \u0436\u0435 \u043e\u0434\u043d\u0430 \u043d\u0433\u0440\u0430\u043c\u043c\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0430\u043c\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435, \u0442.e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442, \u0442\u043e \u0447\u0442\u043e \u0443\u0436\u0435 \u0441\u043a\u0430\u0437\u0430\u043b\u0430.<\/li>\n<li><em>\u0444\u0430\u0439\u043d\u0442\u044e\u043d<\/em>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 4 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u043e\u0442 50K \u0434\u043e 200K \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c: ConvAI2, Empathetic Dialogs, Wizard of Wikipedia \u0438 BST(Blended Skill Talk) \u2014 \u043f\u043e \u0441\u0443\u0442\u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0445 \u043f\u0435\u0440\u0432\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432. \u041b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043d\u0430 BST.<\/li>\n<li><em>\u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b<\/em>. \u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 beamsearch \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 beamsize, top-k \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, sample + rank \u043a\u0430\u043a \u0432 Meena \u043a\u043e\u0433\u0434\u0430 \u0432\u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u044d\u043c\u043f\u043b\u0438\u043c N \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0430 \u043f\u043e\u0442\u043e\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0438\u0439 \u043f\u043e log-likelihood. \u0412 \u0438\u0442\u043e\u0433\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f beamsearch (beam=10) c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u0434\u043b\u0438\u043d\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043d\u0438 \u0444\u043e\u0440\u0441\u044f\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0432 20 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0442\u0430\u043a \u0438 engagingness \u2014 \u0432\u043e\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0432 \u0431\u0435\u0441\u0435\u0434\u0443 \u0441 \u0447\u0430\u0442\u0431\u043e\u0442\u043e\u043c.<\/li>\n<\/ul>\n<p>  <\/p>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><br \/>  \u0414\u043b\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0441\u043f\u043e\u0441\u043e\u0431 ACUTE-Eval. \u0421\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0448\u0430\u0433\u043e\u0432: \u0448\u0430\u0433 1 \u2014 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u0441\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u043c N \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u043b\u044e\u0434\u044c\u043c\u0438 \u0438 \u043d\u0430\u0448\u0438\u043c\u0438 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u0448\u0430\u0433 2 \u2014 \u0434\u0430\u0435\u043c \u043d\u043e\u0432\u044b\u043c \u043b\u044e\u0434\u044f\u043c-\u0430\u0441\u0435\u0441\u0441\u043e\u0440\u043e\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c side-by-side \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u2014 \u0434\u0430\u0435\u043c \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0432\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0447\u0430\u0442\u0431\u043e\u0442\u0430\u043c\u0438 \u0438 \u043f\u0440\u043e\u0441\u0438\u043c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0433\u043e \u0447\u0430\u0442\u0431\u043e\u0442\u0430 \u0430\u0441\u0435\u0441\u0441\u043e\u0440 \u0431\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0435\u043b \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u043c\u0435\u044f \u0441\u044d\u043c\u043f\u043b\u044b \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 \u043d\u0435 \u0438\u043c\u0435\u044f \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0441 Meena, \u0433\u0434\u0435 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432, \u043d\u043e \u043d\u0435 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0441\u0430\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e \u0438\u0442\u043e\u0433\u0443 \u0441\u0430\u043c\u0430\u044f \u043b\u0443\u0447\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 BST Generative \u043d\u0430 2.7B \u0441 \u0431\u0438\u043c\u0441\u0435\u0440\u0447\u0435\u043c = 10 \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b \u043e\u0442\u0432\u0435\u0442\u0430 \u0432 20 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e 9.4B \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b\u0430 2.7B \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043d\u0430 side-by-side \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u043f\u043e engagingness 54% \u043f\u0440\u043e\u0433\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043b\u0438 \u0437\u0430 2.7B \u043c\u043e\u0434\u0435\u043b\u044c, \u0445\u043e\u0442\u044f \u043f\u043e perplexity 9.4B \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043b\u0443\u0447\u0448\u0435. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fo\/ob\/3l\/foob3lmy5wdfivgxl5lpkwx8ch0.png\"><\/p>\n<p>\u0415\u0449\u0435 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u043d\u0430 side-by-side \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0438\u0445 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a-\u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 engagingness \u043e\u043d\u0438 \u0441\u043c\u0430\u0442\u0447\u0438\u043b\u0438\u0441\u044c \u0441 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c\u0438. \u041d\u0435\u0434\u0430\u043b\u0435\u043a \u0442\u043e\u0442 \u0434\u0435\u043d\u044c, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0432\u0441\u0435\u0445 \u0434\u0440\u0443\u0437\u0435\u0439 \u0438 \u0443\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0447\u0430\u0442\u0431\u043e\u0442\u0430\u043c\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fu\/ki\/mi\/fukimimwps3bqltybbbicv2jb78.png\" width=\"400\">  <\/p>\n<p>\u0412 \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u043e\u0448\u0438\u0431\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0444\u0430\u043a\u0430\u043f\u044b:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0435 \u0438 \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0441\u0442\u044c. \u041c\u043e\u0434\u0435\u043b\u044c \u0432 \u0434\u0438\u0430\u043b\u043e\u0433\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442\u044c \u0441\u0430\u043c\u0430 \u0441\u0435\u0431\u0435 \u0438\u043b\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c\u0441\u044f \u043f\u0440\u043e \u0442\u0435 \u0432\u0435\u0449\u0438, \u043f\u0440\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432 \u043d\u0430\u0437\u0430\u0434;<\/li>\n<li>\u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u043a\u0442\u043e\u0432. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0444\u0430\u043a\u0442\u044b \u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439;<\/li>\n<li>\u0447\u0440\u0435\u0437\u043c\u0435\u0440\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0445 \u043a\u043e\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u0439. \u041d\u0430\u043c\u043d\u043e\u0433\u043e \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u043b\u044e\u0434\u0438, \u0443\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u0435 \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0435 \u0444\u0440\u0430\u0437\u044b \u043a\u0430\u043a \u201cdo you like\u201d, \u201clot of fun\u201d, \u201chave any hobbies\u201d, \u0438 \u0434\u0440\u0443\u0433\u0438\u0435.<\/li>\n<\/ul>\n<p>  <\/p>\n<h3 id=\"5-one-shot-object-detection-without-fine-tuning\">5. One-Shot Object Detection without Fine-Tuning<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Xiang Li, Lin Zhang, Yau Pun Chen, Yu-Wing Tai, Chi-Keung Tang (HKUST, Hong Kong, Tencent, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2005.03819\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u041c\u0438\u043a\u0441 \u0441\u0438\u0430\u043c\u0441\u043a\u0438\u0445 \u0441\u0435\u0442\u0435\u0439 \u0441 anchor-free \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u043c FCOS, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 class-agnostic, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0435\u0442\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438 + \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0440\u043e\u043f \u0441 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0432\u044b\u0434\u0430\u0451\u0442 \u0431\u043e\u043a\u0441\u044b \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/43\/n2\/nj\/43n2njsohshk8yehpomj_h21ulm.png\"><\/p>\n<p>\u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: Matching FCOS \u0438 Structure-Aware Relation Module.<\/p>\n<p>  <\/p>\n<p><strong>\u041c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432 \u0441\u0438\u0430\u043c\u0441\u043a\u0443\u044e \u0441\u0435\u0442\u044c FCOS \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0437\u0432\u0430\u043b\u0438 Matching FCOS.<\/strong><br \/>  \u041e\u043d \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u043e\u0434\u0438\u043d \u0431\u044d\u043a\u0431\u043e\u0443\u043d (FPN \u044d\u043d\u043a\u043e\u0434\u0435\u0440-\u0434\u0435\u043a\u043e\u0434\u0435\u0440) \u0434\u0432\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u2014 query \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0438\u0449\u0435\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0438 support \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u044d\u0442\u043e \u043a\u0440\u043e\u043f\u043d\u0443\u0442\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430.<\/p>\n<p>  <\/p>\n<p>\u0424\u0438\u0447\u0438 support \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e global average pooling \u0438 \u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u044e\u0442 dot product \u0441 \u0444\u0438\u0447\u0430\u043c\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 query, \u043f\u043e\u043b\u0443\u0447\u0430\u044f similarity map. \u041f\u043e \u044d\u0442\u043e\u0439 \u043c\u0430\u043f\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u0435\u0449\u0451 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0432\u0435\u0440\u0442\u043e\u043a \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c, \u0447\u0442\u043e\u0431 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c proposals \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u044b\u0447\u043d\u043e\u0439 FCOS \u0433\u043e\u043b\u043e\u0432\u044b (\u0433\u0434\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0438\u043a\u0441\u0435\u043b\u044c \u0444\u0438\u0447\u0435\u043c\u0430\u043f\u0430 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u0442\u0441\u044f class score \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0431\u043e\u043a\u0441\u0430).<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/5z\/rg\/rz\/5zrgrzpo5bz0a0rpzwsizpwbck4.png\" width=\"600\"> <\/p>\n<p><strong>Structure-Aware Relation Module.<\/strong><br \/>  \u0412 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0443\u043b\u0435 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0444\u0438\u0447\u0438 query \u0438 support \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, \u043d\u043e \u0438\u0437 query \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0444\u0438\u0447\u0438 \u043f\u0443\u043b\u044f\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e RoI Align \u043f\u043e \u0442\u0435\u043c proposals, \u0447\u0442\u043e \u0431\u044b\u043b\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 1. \u0414\u0430\u043b\u0435\u0435 \u043e\u043d\u0438 \u043a\u043e\u043d\u043a\u0430\u0442\u044f\u0442\u0441\u044f \u0438 \u043f\u043e \u043d\u0438\u043c \u043f\u0440\u043e\u0435\u0437\u0436\u0430\u044e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e pixel-wise \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0451\u0432, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0441\u043d\u043e\u0432\u0430 \u0440\u0430\u0437\u0432\u0435\u0442\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0434\u0432\u0430 \u0431\u0440\u0430\u043d\u0447\u0430 \u0438 \u043f\u0440\u0435\u0434\u0438\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0430 \u0438 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u0431\u043e\u043a\u0441\u0430. \u041a\u043b\u0430\u0441\u0441 1 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043c\u0430\u0442\u0447 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0441 support, \u0430 0 \u2014 \u043d\u0435 \u043c\u0430\u0442\u0447, \u0442\u043e \u0435\u0441\u0442\u044c background.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mo\/qe\/_n\/moqe_nev_rxwjdh_-b6-jxwec2i.png\" width=\"600\"><\/p>\n<p>\u041f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b \u0441 \u0441\u043e\u0442\u043e\u0439 \u0432 One Shot detection, \u043d\u043e \u044d\u0442\u0443 \u0441\u0435\u0442\u043a\u0443 \u043d\u0435 \u043d\u0430\u0434\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435, \u043e\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u043e\u0438\u0441\u043a \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043f\u043e \u0437\u0430\u043f\u0440\u043e\u0448\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ej\/ae\/9p\/ejae9pnk1pgkd9q2r0ie9mppshq.png\"><\/p>\n<h3 id=\"6-f-brs-rethinking-backpropagating-refinement-for-interactive-segmentation\">6. f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Konstantin Sofiiuk, Ilia Petrov, Olga Barinova, Anton Konushin (Samsung AI Center, Moscow, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2001.10331\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/saic-vul\/fbrs_interactive_segmentation\">GitHub project<\/a> :: <a href=\"https:\/\/www.youtube.com\/watch?v=ArcZ5xtyMCk&amp;feature=youtu.be\">Video<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0418\u043b\u044c\u044f \u041f\u0435\u0442\u0440\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 ptrvilya)<\/p>\n<p>  <\/p>\n<p><strong>tl;dr<\/strong> \u0425\u043e\u0442\u0438\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e, \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u0443\u044e \u044e\u0437\u0435\u0440\u043e\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u044e\u0437\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043a\u043b\u0438\u043a\u0430\u0442\u044c \u043f\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u043a\u0430\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043d\u0443\u0436\u043d\u043e \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c? \u0414\u043e \u043d\u0430\u0441 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0438\u043a\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u0445\u043e\u0434\u0430 \u0441\u0435\u0442\u0438, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u043e\u0448\u0438\u0431\u043a\u0443 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0432 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u0445. \u042d\u0442\u043e \u0442\u043e\u0447\u043d\u043e, \u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432. \u041c\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0442\u0438, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e scale \u0438 bias \u0434\u043b\u044f \u0444\u0438\u0447\u0435\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f (\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0438\u0445 \u043a\u0430\u043a \u043d\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b) \u0422\u0430\u043a \u043c\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043d\u044f\u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430 \u0433\u0438\u0444\u043a\u0435:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zl\/dh\/k0\/zldhk0b6-lpwn5h98gzno60xbk4.gif\"><\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430.<\/strong><br \/>  \u0421\u0430\u043c\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430: \u043d\u0430 \u0432\u0445\u043e\u0434 \u043a\u043b\u0438\u043a\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u0430\u0441\u043a\u0430. \u0414\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b: \u0447\u0435\u0442\u044b\u0440\u0435 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u043f\u043e \u043a\u0440\u0430\u044f\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u0430, bbox \u0438 \u043c\u0430\u0437\u043a\u0438.<br \/>  \u041a\u043b\u0438\u043a\u0438 \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 \u043a\u0430\u0440\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u0434\u0438\u0443\u0441\u043e\u043c \u0438 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434 \u0441\u0435\u0442\u0438 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u043e\u0439 (\u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u2014 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u044b \u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u043c \u0432 \u043a\u043b\u0438\u043a\u0435 \u0438\u043b\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0435 \u0434\u0438\u0441\u043a\u0438).<\/p>\n<p>  <\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430.<\/strong><br \/>  \u0414\u0430\u0436\u0435 \u0445\u0438\u0442\u0440\u0430\u044f \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044f \u043a\u043b\u0438\u043a\u043e\u0432 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0438\u043c. \u0413\u043e\u0434 \u043d\u0430\u0437\u0430\u0434 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0438\u0434\u0435\u044e: \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0438\u043a\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 L2 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u043e\u0439 \u0438 \u043a\u0430\u0440\u0442\u043e\u0439 \u043a\u043b\u0438\u043a\u043e\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f (1 \u0432 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445, 0 \u0432 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0445, \u0432 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u2014 \u0438\u0433\u043d\u043e\u0440), \u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043a\u0430\u0440\u0442\u044b \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043f\u043e\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0435 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0441\u0435\u0442\u0438. \u0421\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430 adversarial \u0430\u0442\u0430\u043a\u0430 \u0441 \u0432\u044b\u0433\u043e\u0434\u043e\u0439 \u0434\u043b\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430. \u0421\u0438\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u2014 \u0432 \u0442\u0435\u043e\u0440\u0438\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043b\u0438\u043a\u043e\u0432, \u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0437\u0430 \u0441\u0447\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043e\u0439\u0434\u0435\u0442\u0441\u044f \u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0430\u0441\u043a\u0435, \u0440\u0430\u043d\u044c\u0448\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u044b\u043b\u043e \u043d\u0435\u043b\u044c\u0437\u044f. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u2014 \u0434\u0435\u043b\u0430\u0442\u044c backward \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0438\u043a\u0430 \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u043e.<\/p>\n<p>  <\/p>\n<p><strong>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434.<\/strong><br \/>  \u0427\u0442\u043e\u0431\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c, \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u0446\u0435\u043b\u0435\u0432\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435. \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u0438\u0447\u0438 \u0441\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043d\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u043a \u0432\u044b\u0445\u043e\u0434\u0443, \u0442\u0435\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0435\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u0441\u0435 \u0435\u0449\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0448\u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0435 scale \u0438 bias \u0434\u043b\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435 \u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0432\u044b\u0445\u043e\u0434\u0443. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 DeepLabV3+ \u0438 \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f scale \u0438 bias.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/7m\/u7\/aa\/7mu7aaufh7zzk1amutnu2q_qvc0.png\"><\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0430\u0434\u0440\u0435\u0441\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438. \u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445 \u0448\u043b\u0438 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0438\u043c \u043e\u043a\u043d\u043e\u043c \u043f\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u0427\u0442\u043e\u0431\u044b \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445 \u043c\u044b \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c (\u0441\u0445\u043e\u0436\u0438\u0435 \u0438\u0434\u0435\u0438 \u0443\u0436\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043f\u0440\u043e \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u044e): \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 (1-3) \u043f\u0435\u0440\u0432\u044b\u0445 \u043a\u043b\u0438\u043a\u043e\u0432 \u043c\u0430\u0441\u043a\u0430 \u0443\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0442\u0430\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c \u0434\u0435\u0442\u0430\u043b\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u0440\u043e\u043f \u0432\u043e\u043a\u0440\u0443\u0433 \u044d\u0442\u043e\u0439 \u043c\u0430\u0441\u043a\u0438 \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0438\u043c, \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u044f \u0438\u043b\u0438 \u0441\u0443\u0436\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043a\u0440\u043e\u043f\u0430 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0438 \u043d\u043e\u0432\u044b\u0445 \u043a\u043b\u0438\u043a\u043e\u0432. \u0417\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0435\u043b\u043a\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438.<\/p>\n<p>  <\/p>\n<p><strong>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b.<\/strong><br \/>  \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0447\u0438\u0441\u043b\u043e \u043a\u043b\u0438\u043a\u043e\u0432 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430 \u043f\u043e IoU, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043a\u043b\u0438\u043a \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0432 \u0446\u0435\u043d\u0442\u0440 \u0437\u0430\u043c\u043a\u043d\u0443\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0441 FP \u0438\u043b\u0438 FN \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043f\u043b\u043e\u0449\u0430\u0434\u0438, \u0430 \u043e\u0431\u0449\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u043a\u043b\u0438\u043a\u043e\u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e 20.<br \/>  \u0414\u043b\u044f \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0431\u0435\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043a \u0436\u0435\u043b\u0430\u0435\u043c\u043e\u0439 \u043c\u0430\u0441\u043a\u0435 \u043f\u043b\u043e\u0445\u0430\u044f (\u044d\u0442\u043e \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0433\u043e \u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u2014 semantic boundaries, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e ) \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043f\u043e\u0432\u044b\u0441\u0438\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0434\u043e 100 \u043a\u043b\u0438\u043a\u043e\u0432 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 100 \u043a\u043b\u0438\u043a\u043e\u0432 \u0431\u0435\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043e IoU 90 \u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 5 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/lx\/l7\/j6\/lxl7j6xvtxifml5wioyv-wdodda.png\" width=\"400\"><\/p>\n<p>\u0415\u0449\u0435 \u043e\u0434\u0438\u043d \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u2014 \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043d\u043e\u0432\u044b\u0435 \u043a\u043b\u0438\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u0435 \u043f\u043e\u0434\u0430\u0432\u0430\u044f \u0438\u0445 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0441\u0430\u043c\u043e\u0439 \u0441\u0435\u0442\u0438. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0442\u0430\u043a\u043e\u0435: \u0441\u0435\u0442\u044c \u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043a\u043b\u0438\u043a\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043a\u043b\u0438\u043a\u043e\u0432 \u0437\u0430\u0448\u0443\u043c\u043b\u044f\u0435\u0442 \u0432\u0445\u043e\u0434 \u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438.<\/p>\n<p>  <\/p>\n<h3 id=\"7-flowtron-an-autoregressive-flow-based-generative-network-for-text-to-speech-synthesis\">7. Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Rafael Valle, Kevin Shih, Ryan Prenger, Bryan Catanzaro (NVIDIA, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2005.05957\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/NVIDIA\/flowtron\">GitHub project<\/a> :: <a href=\"https:\/\/nv-adlr.github.io\/Flowtron\">Blog<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u041f\u0438\u043e\u043d\u0435\u0440\u0441\u043a\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043e\u0442 NVIDIA \u043f\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e Flow-based \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 text2speech. \u041e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 Tacotron2, \u043d\u043e \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e + \u043f\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u0443 \u0434\u0430\u0451\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e\u043c, \u0434\u0430\u0432\u0430\u044f \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0438\u043d\u0442\u043e\u043d\u0430\u0446\u0438\u044f\u043c \u0438 \u0442\u0435\u043c\u0431\u0440\u0443 \u0433\u043e\u043b\u043e\u0441\u0430, \u043a \u0442\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435. \u042d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0437\u0432\u0443\u0447\u0438\u0432\u0430\u043b\u0430 <a href=\"https:\/\/www.youtube.com\/watch?v=bOf2S7OzFEg\">\u0440\u043e\u043b\u0438\u043a<\/a>.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u043e\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0438\u043d\u0442\u0435\u0437\u0430 \u043c\u0435\u043b-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c \u2014 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f flow-based \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u041e\u043d\u0430 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043f\u0438\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043c\u0435\u043b-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u0432 \u0441\u0444\u0435\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u043e \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e. \u041e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<p>\u0412 \u0442\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0435 \u043c\u043e\u0436\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043c\u043f\u043b\u044b, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0440\u0435\u0447\u0438, \u043d\u0430\u0445\u043e\u0434\u044f\u0449\u0438\u0435\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c \u043f\u0443\u0442\u0451\u043c \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 z-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. <\/p>\n<p>  <\/p>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c style transfer \u043c\u0435\u0436\u0434\u0443 \u0441\u0435\u043c\u043f\u043b\u0430\u043c\u0438, \u043c\u0435\u043d\u044f\u0442\u044c \u0441\u043f\u0438\u043a\u0435\u0440\u0430 \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043f\u0438\u043a\u0435\u0440\u0430, \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0434\u0440\u043e\u0432 \u043c\u0435\u043b-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c, \u0432\u044b\u0434\u0430\u0432\u0430\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435. \u042d\u0442\u0438 \u0441\u044d\u043c\u043f\u043b\u044b \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0440\u0438\u044e \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0430\u0444\u0444\u0438\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0430\u043f\u044f\u0442 z \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 x (\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443). \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c flow.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/lj\/28\/ut\/lj28utu7aak8rhvri_1qbxseti8.png\" width=\"400\"><\/p>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0444\u043e\u0440\u0432\u0430\u0440\u0434 \u043f\u0440\u043e\u0445\u043e\u0434\u0430, \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043c\u0435\u043b-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u043a\u0430\u043a \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432 flow, \u0437\u0430\u043a\u043e\u043d\u0434\u0438\u0448\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442 \u0438 \u0430\u0439\u0434\u0438 \u0441\u043f\u0438\u043a\u0435\u0440\u0430. \u0428\u0430\u0433\u043e\u043c flow \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f affine coupling layer, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u043c \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u2014 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 Z \u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435.<\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043d\u0430 DGX-1 8\u0445V100.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e Mean Opinion Score \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441 Tacotron 2, \u043d\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u0435\u0433\u043e \u043f\u043e \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u0421\u044d\u043c\u043f\u043b\u044b \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c \u043d\u0430 \u0441\u0430\u0439\u0442\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pr\/jx\/xn\/prjxxngiksvd7onocnkogifbqxm.png\" width=\"400\">  <\/p>\n<p><a href=\"#1-efficient-document-re-ranking-for-transformers-by-precomputing-term-representations-earl-speedup-transformer-based-rankers-with-pre-computed-representation\">\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u043e<\/a><\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-efficient-document-re-ranking-for-transformers-by-precomputing-term-representations-earl-speedup-transformer-based-rankers-with-pre-computed-representation\">Efficient Document Re-Ranking for Transformers by Precomputing Term Representations; EARL: Speedup Transformer-based Rankers with Pre-computed Representation (2020)<\/a><\/li>\n<li><a href=\"#2-makeittalk-speaker-aware-talking-head-animation\">MakeItTalk: Speaker-Aware Talking Head Animation (Adobe, University of Massachusetts Amherst, Huya, 2020)<\/a><\/li>\n<li><a href=\"#3-jukebox-a-generative-model-for-music\">Jukebox: A Generative Model for Music (OpenAI, 2020)<\/a><\/li>\n<li><a href=\"#4-recipes-for-building-an-open-domain-chatbot\">Recipes for building an open-domain chatbot (Facebook AI Research, 2020)<\/a><\/li>\n<li><a href=\"#5-one-shot-object-detection-without-fine-tuning\">One-Shot Object Detection without Fine-Tuning (HKUST, Hong Kong, Tencent, 2020)<\/a><\/li>\n<li><a href=\"#6-f-brs-rethinking-backpropagating-refinement-for-interactive-segmentation\">f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation (Samsung AI Center, Moscow, 2020)<\/a><\/li>\n<li><a href=\"#7-flowtron-an-autoregressive-flow-based-generative-network-for-text-to-speech-synthesis\">Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis (NVIDIA, 2020)<\/a><\/li>\n<\/ol>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-305370","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/305370","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=305370"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/305370\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=305370"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=305370"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=305370"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}