{"id":305915,"date":"2020-06-25T15:01:12","date_gmt":"2020-06-25T15:01:12","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=305915"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=305915","title":{"rendered":"\u0420\u0443\u0431\u0440\u0438\u043a\u0430 \u00ab\u0427\u0438\u0442\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u044c\u0438 \u0437\u0430 \u0432\u0430\u0441\u00bb. \u041c\u0430\u0439 2020. \u0427\u0430\u0441\u0442\u044c 2"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/507880\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-eca-net-efficient-channel-attention-for-deep-convolutional-neural-networks\">ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks (China, 2020)<\/a><\/li>\n<li><a href=\"#2-tapas-weakly-supervised-table-parsing-via-pre-training\">TAPAS: Weakly Supervised Table Parsing via Pre-training (Google, 2020)<\/a><\/li>\n<li><a href=\"#3-deepfacelab-a-simple-flexible-and-extensible-faceswapping-framework\">DeepFaceLab: A simple, flexible and extensible faceswapping framework (2020)<\/a><\/li>\n<li><a href=\"#4-end-to-end-object-detection-with-transformers\">End-to-End Object Detection with Transformers (Facebook AI, 2020)<\/a><\/li>\n<li><a href=\"#5-language-models-are-few-shot-learners\">Language Models are Few-Shot Learners (OpenAI, 2020)<\/a><\/li>\n<li><a href=\"#6-tabnet-attentive-interpretable-tabular-learning\">TabNet: Attentive Interpretable Tabular Learning (Google Cloud AI, 2020)<\/a><\/li>\n<\/ol>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0441\u0431\u043e\u0440\u043d\u0438\u043a\u0438 \u0441\u0435\u0440\u0438\u0438:<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<ul>\n<li>2020 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/493016\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0424\u0435\u0432\u0440\u0430\u043b\u044c<\/a>, \u041c\u0430\u0440\u0442 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/496024\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/497268\/\">\u04472<\/a>, \u0410\u043f\u0440\u0435\u043b\u044c <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/505040\/\">\u04472<\/a>, \u041c\u0430\u0439 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/\">\u04471<\/a><\/li>\n<li>2019 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/471514\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/472672\/\">\u0418\u044e\u043b\u044c \u2014 \u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/485122\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u0414\u0435\u043a\u0430\u0431\u0440\u044c<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/352508\/\">\u0414\u0435\u043a\u0430\u0431\u0440\u044c 2017 \u2014 \u042f\u043d\u0432\u0430\u0440\u044c 2018<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/352518\/\">\u0424\u0435\u0432\u0440\u0430\u043b\u044c \u2014 \u041c\u0430\u0440\u0442 2018<\/a><\/li>\n<li>2017 \u0433\u043e\u0434: <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/336624\/\">\u0410\u0432\u0433\u0443\u0441\u0442<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/339094\/\">\u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/343822\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u041d\u043e\u044f\u0431\u0440\u044c<\/a> <\/li>\n<\/ul>\n<\/div><\/div>\n<p>  <\/p>\n<h3 id=\"1-eca-net-efficient-channel-attention-for-deep-convolutional-neural-networks\">1. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Qilong Wang, Banggu Wu, Pengfei Zhu, Peihua Li, Wangmeng Zuo, Qinghua Hu (China, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/1910.03151\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> | <a href=\"https:\/\/github.com\/BangguWu\/ECANet\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u042d\u043c\u0438\u043b\u044c \u0417\u0430\u043a\u0438\u0440\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 bonlime)<\/p>\n<p>  <\/p>\n<p>\u041e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 self-attention \u0434\u043b\u044f computer vision. \u0410\u0432\u0442\u043e\u0440\u044b \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043d\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 squeeze-and-excitation (SE), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0435\u0439\u0447\u0430\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 SOTA \u0441\u0435\u0442\u043e\u0447\u043a\u0430\u0445 \u0438 \u0435\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438, \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0432 \u043f\u043e\u043d\u044f\u0442\u044c \u043f\u043e\u0447\u0435\u043c\u0443 \u0436\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041f\u043e\u0442\u043e\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0441\u0432\u043e\u0439 \u0441\u0443\u043f\u0435\u0440 \u043b\u0435\u0433\u043a\u0438\u0439 attention block, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0447\u0435\u043c SE \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gn\/ee\/vn\/gneevnbrnqwnvkwcsl0l_ieicww.png\"><\/div>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 attention \u0431\u043b\u043e\u043a\u0438 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432, \u043e\u043d\u0438 \u043b\u0438\u0431\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u0430\u043d\u0430\u043b\u043e\u0432, \u043b\u0438\u0431\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u043d\u0430\u043b\u0430\u043c\u0438. SE, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0434\u0435\u043b\u0430\u0435\u0442 \u0438 \u0442\u043e \u0438 \u0442\u043e.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/cs\/4s\/1o\/cs4s1o5ctpwp_usfwikoh-3dxvi.png\" width=\"400\"><\/div>\n<p>  <\/p>\n<p>\u0425\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0438 \u0434\u0432\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0435\u0433\u043a\u0430 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 SE block:<\/p>\n<p>  <\/p>\n<ul>\n<li>SE-Var1 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u043c GlobalAvgPool + sigmoid. \u0414\u0430\u0436\u0435 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e attention \u0434\u0430\u0451\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443.<\/li>\n<li>SE-Var2 \u2014 GlobalAvgPool + \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 + sigmoid. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0433\u043e SE \u043d\u0435\u0442 dimensionality reduction (DR) \u0438 \u043d\u0435\u0442 cross-channel interaction, \u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0448\u0435! \u0412\u044b\u0432\u043e\u0434 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u2014 <strong>\u0438\u0437\u0431\u0435\u0433\u0430\u043d\u0438\u0435 dimensionality reduction \u0432\u0430\u0436\u043d\u0435\u0435 \u0447\u0435\u043c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e cross-channel interactions<\/strong>.<\/li>\n<li>SE-Var3 \u2014 \u043a\u0430\u043a SE, \u043d\u043e \u0431\u0435\u0437 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435, \u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/li>\n<li>SE-GC \u2014 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u0434\u0435\u043b\u0430\u0442\u044c attention \u0447\u0435\u0440\u0435\u0437 \u0433\u0440\u0443\u043f\u043f\u043e\u0432\u044b\u0435 \u0441\u0432\u0435\u0440\u0442\u043a\u0438. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c SE, \u043d\u043e group convs \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f.<\/li>\n<li>ECA \u2014 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0430\u0432\u0442\u043e\u0440\u043e\u0432. GlobalAvgPool + Conv1d (kernel size=3). \u041e\u043f\u0435\u0440\u0430\u0446\u0438\u044f Conv1d \u0434\u0435\u0448\u0435\u0432\u0430\u044f, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c dimensionality reduction \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u0442\u043e cross-channel interaction.<\/li>\n<\/ul>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zn\/rw\/8b\/znrw8bwvoqtqmd7hbfallnkpvku.png\" width=\"400\"><\/div>\n<p>  <\/p>\n<p><strong>Attention block \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0432 \u0434\u0435\u0442\u0430\u043b\u044f\u0445<\/strong><\/p>\n<p>  <\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u044f\u0434\u0440\u0430 \u043f\u043e\u0441\u043b\u0435 GlobalAvgPool \u043c\u043e\u0436\u043d\u043e \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a. \u0423 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043e\u043d\u0430 \u0442\u0430\u043a\u0430\u044f \u2014 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0430\u043d\u0430\u043b\u043e\u0432, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u044f\u0434\u0440\u043e. \u0414\u043b\u044f 128 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u044f\u0434\u0440\u043e \u0431\u0443\u0434\u0435\u0442 3, \u0430 \u0434\u043b\u044f 1024 \u2014 7. \u041d\u043e \u043a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0434\u0432\u0443\u0445 \u0441\u0442\u0440\u043e\u0447\u0435\u043a \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432\u044b\u0448\u0435 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/a2\/mq\/1c\/a2mq1cs7tz7szrafrvktkkr89sg.png\" width=\"500\"><\/div>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0445 <strong>\u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u044f\u0434\u0440\u0430<\/strong> \u0434\u043b\u044f 1d \u0441\u0432\u0435\u0440\u0442\u043a\u0438 vs adaptive. \u0442.\u043a. \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438, \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 \u044f\u0434\u0440\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 3. \u0412 \u043a\u043e\u0434\u0435 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0442\u0430\u043a \u0438 \u0441\u0434\u0435\u043b\u0430\u043d\u043e, \u0432\u0435\u0437\u0434\u0435 \u0437\u0430\u0445\u0430\u0440\u0434\u043a\u043e\u0436\u0435\u043d\u043e 3.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 <strong>\u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438<\/strong>. \u041d\u0430 \u0444\u043e\u043d\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u0430\u0435\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043c\u0435\u0442\u0440\u0438\u043a \u043d\u0430 1-2%, \u0447\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u0447\u0435\u043d\u044c \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p>  <\/p>\n<p><strong>\u041f\u0430\u0440\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a<\/strong><\/p>\n<p>  <\/p>\n<p>\u0425\u043e\u0442\u044f Conv1d \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0434\u0432\u0435 FC \u0432 SE \u0431\u043b\u043e\u043a\u0435, \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e ~5% \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u044d\u0442\u043e GlobalAvgPool, \u0430 \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u0432\u0435\u0440\u0442\u043a\u0438.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u043d\u0430\u043b\u043e\u0432, \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 SE \u0431\u043b\u043e\u043a\u043e\u043c \u0438 ECA \u0431\u043b\u043e\u043a\u043e\u043c \u0434\u043b\u044f 4\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u041f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0438\u0437 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u043d\u0430\u043b\u043e\u0432. SE \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0438\u0435 attention \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0432 \u0442\u043e\u043c \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0443 ECA \u043e\u043d\u0438 &quot;have better discriminative ability&quot;.<\/p>\n<p>  <\/p>\n<p><strong>\u0417\u0430\u043c\u0435\u0442\u043a\u0430 \u043e\u0442 \u0430\u0432\u0442\u043e\u0440\u0430 \u043e\u0431\u0437\u043e\u0440\u0430<\/strong><\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u0432\u0435\u0440\u0438\u0442\u044c \u0430\u0432\u0442\u043e\u0440\u0430\u043c \u043d\u0430 \u0441\u043b\u043e\u0432\u043e, \u0435\u0441\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c. \u0423 \u043c\u0435\u043d\u044f \u043d\u0430 Imagenet \u0437\u0430 90 \u044d\u043f\u043e\u0445 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 SE \u0434\u0430\u0451\u0442 Acc@1 78.988 Acc@5 94.440, \u0430 ECA \u0434\u0430\u0451\u0442 Acc@1 79.281 Acc@5 94.664. \u0422\u0430\u043c \u0431\u044b\u043b\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 SE \u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0430 4\u0445V100, \u0430 ECA \u043d\u0430 3\u0445V100, \u0438 \u0443 \u043d\u0438\u0445 \u0431\u044b\u043b \u0440\u0430\u0437\u043d\u044b\u0439 lr. \u0422.\u0435. \u043d\u0435 \u043c\u043e\u0433\u0443 \u043f\u043e\u043a\u0430 \u0442\u043e\u0447\u043d\u043e \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c \u0447\u0442\u043e ECA &gt; SE, \u043d\u043e \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0435 \u0445\u0443\u0436\u0435 \u0442\u043e\u0447\u043d\u043e, \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<p>  <\/p>\n<h3 id=\"2-tapas-weakly-supervised-table-parsing-via-pre-training\">2. TAPAS: Weakly Supervised Table Parsing via Pre-training<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Jonathan Herzig, Pawe\u0142 Krzysztof Nowak, Thomas M\u00fcller, Francesco Piccinno, Julian Martin Eisenschlos (Google, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2004.02349\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> | <a href=\"https:\/\/github.com\/google-research\/tapas\">GitHub project<\/a> | <a href=\"https:\/\/colab.research.google.com\/github\/google-research\/tapas\/blob\/master\/notebooks\/sqa_predictions.ipynb\">Colab<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u041d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 \u0433\u0443\u0433\u043b\u0430, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 BERT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0430\u0440\u0441\u0438\u0442 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 question answering \u043d\u0430\u0440\u0430\u0432\u043d\u0435 \u0438\u043b\u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438, \u043d\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0432\u044b\u043f\u043e\u043d\u044f\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u0434\u0430\u0447 + \u0445\u043e\u0440\u043e\u0448\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u0443\u0433\u043b\u043e\u0432\u044b\u0439 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/to\/ry\/qm\/toryqmyirjyyndql_yxzdbzzwbk.png\" width=\"400\"><\/div>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u043f\u0430\u0440\u0441\u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0438\u0437 WikiTable \u0438 Infobox, \u0441\u043e\u0431\u0440\u0430\u0432 \u043e\u0442\u0442\u0443\u0434\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0438 \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u041c\u043e\u0434\u0435\u043b\u044c\u043a\u0443 \u0437\u0430\u0432\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 BERT, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0442\u0443\u0434\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432, \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0445 \u0434\u043b\u044f \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0430 \u0432\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0443 \u043d\u0435\u0451 \u0434\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u044f \u2014 \u043e\u0434\u0438\u043d \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430 \u044f\u0447\u0435\u0435\u043a \u0441\u0435\u0442\u0438 (\u0435\u0441\u043b\u0438 \u043e\u0442\u0432\u0435\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u044f\u0447\u0435\u0439\u043a\u043e\u0439 \u0441\u0435\u0442\u0438) \u0438 \u043e\u0434\u0438\u043d \u0434\u043b\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u044f\u0447\u0435\u0435\u043a (COUNT, SUM, AVG). \u0412\u0441\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0445 \u0434\u043b\u044f \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<p>  <\/p>\n<ul>\n<li>Position ID \u2014 \u0438\u043d\u0434\u0435\u043a\u0441 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0435 (\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432\u043e flatten \u0432\u0438\u0434\u0435).<\/li>\n<li>Segment ID \u2014 0 \u0434\u043b\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c \u0438 1 \u0434\u043b\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.<\/li>\n<li>Column \/ Row ID.<\/li>\n<li>Rank ID \u2014 \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u0430\u043a-\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0442\u044c (\u0434\u0430\u0442\u0430, \u0447\u0438\u0441\u043b\u043e, \u0432\u0440\u0435\u043c\u044f) \u0442\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u043d\u0433, \u043a\u0430\u043a \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a.<\/li>\n<li>Previous Answer \u2014 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0435\u0442\u0430\u043f\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 conversational \u0440\u0435\u0436\u0438\u043c\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438 \u0442\u043e\u043a\u0435\u043d \u0430\u0443\u0442\u043f\u0443\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0434\u0438\u0438.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u044f\u0447\u0435\u0439\u043a\u0438 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u043e\u043b\u044c\u0448\u0435 0.5 \u0438 \u043d\u0430\u0434 \u043d\u0438\u043c\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 (NONE, COUNT, SUM, AVG). \u041f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0438\u0437 WikiTable \u0438 Infobox \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f masked language model pre-training objective, \u043a\u0430\u043a \u0432 BERT. \u0417\u0430\u0442\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 WIKISQL, WIKITQ, SQA, \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0432\u044b\u0448\u0435 \u0438\u043b\u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441 \u0421\u041e\u0422\u0410-\u0430\u043d\u0430\u043b\u043e\u0433\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b \u043d\u0430 32 Cloud TPUv3 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0442\u0440\u0451\u0445 \u0434\u043d\u0435\u0439, \u0430 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433 \u043d\u0430 \u043d\u0443\u0436\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0442\u0430\u043c \u0436\u0435 \u043e\u0442 10 \u0434\u043e 20 \u0447\u0430\u0441\u043e\u0432. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u043a\u0430\u043a \u0438 BERT-large.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0449\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043e\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043f\u043e\u0434 \u043d\u043e\u0432\u044b\u0435 \u0441\u0445\u043e\u0436\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0447\u0442\u043e, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0441\u0442\u0430\u043d\u0435\u0442 \u043d\u043e\u0432\u044b\u043c \u043f\u0440\u043e\u0440\u044b\u0432\u043e\u043c \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0438 \u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043f\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0441\u0430\u0431\u0441\u0435\u0442\u0443 \u044f\u0447\u0435\u0435\u043a \u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u043f\u0440\u043e\u0441 \u201cnumber of actors with an average rating higher than 4\u201d \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nf\/4x\/pn\/nf4xpnpjqo8dmqeh7lzfrwvmgxq.png\"><\/p>\n<h3 id=\"3-deepfacelab-a-simple-flexible-and-extensible-faceswapping-framework\">3. DeepFaceLab: A simple, flexible and extensible faceswapping framework<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Ivan Perov, Daiheng Gao, Nikolay Chervoniy, Kunlin Liu, Sugasa Marangonda, Chris Um\u00e9, Mr. Dpfks, Carl Shift Facenheim, Luis RP, Jian Jiang, Sheng Zhang, Pingyu Wu, Bo Zhou, Weiming Zhang (2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2005.05535\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> | <a href=\"https:\/\/github.com\/iperov\/DeepFaceLab\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041a\u0430\u0448\u0438\u043d (\u0432 \u0441\u043b\u044d\u043a\u0435 digitman, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/digitman\/\">digitman<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440 \u0441\u0430\u043c\u043e\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u0440\u0435\u043f\u044b \u043d\u0430 \u0433\u0438\u0442\u0445\u0430\u0431\u0435 (14\u043a+ \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u0435\u043a) \u043f\u043e \u0434\u0438\u043f\u0444\u0435\u0439\u043a\u0430\u043c \u0440\u0435\u0448\u0438\u043b \u0437\u0430\u043a\u0438\u043d\u0443\u0442\u044c \u0441\u0432\u043e\u0435 \u0442\u0432\u043e\u0440\u0435\u043d\u0438\u0435 \u043a \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u043a\u0430\u043c \u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u044e \u0441 \u043a\u0443\u0447\u0435\u0439 &quot;\u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0435\u0440\u043e\u0432&quot; \u0432 \u0430\u0432\u0442\u043e\u0440\u0430\u0445. \u0421\u0430\u043c \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u0434\u0430\u0432\u043d\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439, \u043d\u043e \u0443 \u043d\u0438\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b, \u043b\u0435\u0433\u043a\u0430\u044f \u043a\u0430\u0441\u0442\u043e\u043c\u0438\u0437\u0430\u0446\u0438\u044f, \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438. \u041d\u0443 \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043c\u043e\u0435\u043c\u0443 \u0443 \u043d\u0438\u0445 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0430\u043c\u044b\u0435 &quot;\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0435&quot;.<\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u0441\u043e\u0443\u0441\u043e\u043c &quot;\u0434\u0438\u043f\u0444\u0435\u0439\u043a\u0438 \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u043e, \u043d\u043e \u043b\u0443\u0447\u0448\u0430\u044f \u0437\u0430\u0449\u0438\u0442\u0430 \u044d\u0442\u043e \u043d\u0430\u043f\u0430\u0434\u0435\u043d\u0438\u0435&quot;. \u0427\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0432 \u0430\u0432\u0442\u043e\u0440\u0430\u0445 \u0435\u0441\u0442\u044c Ctrl Shift Face \u2014 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0432\u0438\u0434\u043e\u0441\u044b \u043d\u0430 \u044e\u0442\u0443\u0431\u0435 \u0441 \u0434\u0438\u043f\u0444\u0435\u0439\u043a\u0430\u043c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 Mr. dpfks, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0434\u0435\u043b\u0430\u0435\u0442 MrDeepFakes \u0441\u0430\u0439\u0442 \u2014 \u043f\u043e\u0440\u043d\u0445\u0430\u0431 \u0441 \u0441\u0435\u043b\u0435\u0431\u0430\u043c\u0438 \u043d\u0430 \u0434\u0438\u043f\u0444\u0435\u0439\u043a\u0430\u0445.<\/p>\n<p>  <\/p>\n<p>\u041a\u043e\u0434 \u043d\u0430 TF, \u043d\u043e \u0430\u0432\u0442\u043e\u0440 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u0432\u043e\u0439 \u0432\u0435\u043b\u043e\u0441\u0438\u043f\u0435\u0434 \u0434\u043b\u044f TF \u2014 Leras(Lighter Keras), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0440\u043e\u0434\u0435 \u043f\u0440\u043e\u0449\u0435 (\u043a\u0443\u0434\u0430 \u0435\u0449\u0435) \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043a\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0438\u0434\u044f\u0442 \u043d\u0430 \u0432\u0438\u043d\u0434\u0435 \u0438 \u0432\u0441\u0435 \u0447\u0442\u043e \u0438\u043c \u043d\u0430\u0434\u043e \u2014 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0434\u0432\u0435 \u043f\u0430\u043f\u043a\u0438 \u0441 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c\u0438 \u0434\u0432\u0443\u0445 \u043b\u044e\u0434\u0435\u0439.<\/p>\n<p>  <\/p>\n<p>\u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0438\u0437 \u0442\u0440\u0435\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u2014 <strong>extraction, training, conversion<\/strong>. \u041f\u043e\u0434\u0445\u043e\u0434 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0435\u0439 &quot;one-to-one&quot; \u2014 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u0430\u0440\u0443 \u043b\u044e\u0434\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u0432\u0441\u0435 \u043f\u0435\u0440\u0435\u0443\u0447\u0438\u0432\u0430\u0442\u044c.<\/p>\n<p>  <\/p>\n<p><strong>Extraction<\/strong> \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438 \u043b\u0438\u0446\u0430 \u0438 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u043e\u0432 (S3FD, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 RetinaFace);<\/li>\n<li>\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u043b\u0438\u0446\u0430 \u2014 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u044e\u0442 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u044b \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e (Umeyama), \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043b\u0438\u0446\u043e \u043a \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044e;<\/li>\n<li>\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043b\u0438\u0446\u0430(TernausNet).<\/li>\n<\/ul>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pi\/1e\/pj\/pi1epjytw2xyfa7zapt9bvdkbl4.png\"><\/p>\n<p>\u0421\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043b\u0438\u0446\u0430 \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0442\u043e\u0447\u043d\u0430\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0441\u0432\u043e\u044e \u0442\u0443\u043b\u0437\u0443 XSeg \u2014 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u0434\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043f\u043b\u043e\u0445\u0438\u0435 \u043c\u0430\u0441\u043a\u0438 \u0438 \u0434\u043e\u0437\u0430\u043a\u0438\u043d\u0443\u0442\u044c \u0438\u0445 \u0437\u0430\u043d\u043e\u0432\u043e \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0442\u0430\u043a\u043e\u0439 active learning. \u0413\u043e\u0432\u043e\u0440\u044f\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0442\u0438\u0442\u044c 50 \u0444\u043e\u0442\u043e\u043a \u0440\u0443\u043a\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p><strong>Training<\/strong>. \u041d\u0430 \u0432\u0445\u043e\u0434 \u0434\u0432\u0435 \u043f\u0430\u043f\u043a\u0438 \u2014 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0435 \u043b\u0438\u0446\u0430 \u0438 \u043c\u0430\u0441\u043a\u0438 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u0423 \u043d\u0438\u0445 \u0434\u0432\u0430 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430, <em>\u043f\u0435\u0440\u0432\u044b\u0439<\/em> \u2014 DF, \u043f\u043e \u0441\u0443\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u0431\u043e\u0442\u043b\u043d\u0435\u043a (Inter), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0448\u0430\u0440\u0435\u043d\u044b \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u043b\u044e\u0434\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0432\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/y2\/xh\/15\/y2xh15qecxjb6bkcrzf0k2n-rgy.png\"> <\/p>\n<p><em>\u0412\u0442\u043e\u0440\u043e\u0439<\/em> \u2014 LIAE. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u0448\u0430\u0440\u0435\u043d, \u0430 \u0431\u043e\u0442\u043b\u043d\u0435\u043a\u0430 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445. InterAB \u0433\u0435\u043d\u0435\u0440\u0438\u0442 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 \u0438 \u0434\u043b\u044f source \u0438 \u0434\u043b\u044f target, \u0430 InterB \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f target. \u041d\u0430 \u0432\u0445\u043e\u0434 \u0437\u0430\u0448\u0430\u0440\u0435\u043d\u043d\u043e\u043c\u0443 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0443 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0430\u0442 \u0434\u0432\u0443\u0445 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u043e\u0432. \u0414\u043b\u044f source \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043d\u043a\u0430\u0442\u0438\u0442\u0441\u044f InterAB \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 \u0441\u0430\u043c \u0441 \u0441\u043e\u0431\u043e\u0439, \u0434\u043b\u044f target \u2014 InterAB \u0441 InterB. \u0412\u0440\u043e\u0434\u0435 InterAB \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0442\u044c \u043e\u0431\u0449\u0443\u044e \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0434\u043e\u043c\u0435\u043d\u043e\u0432 \u0438\u043d\u0444\u0443, \u0430 InterB \u0434\u0435\u0442\u0430\u043b\u0438 target \u0434\u043e\u043c\u0435\u043d\u0430. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/py\/6s\/5p\/py6s5p49xxtln29nzebjzx-e6s4.png\"><\/p>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f &quot;\u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043d\u043e\u0433\u043e&quot; \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u0432\u0430\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0439 \u0432\u0435\u0441 \u043b\u043e\u0441\u0430\u043c \u0437\u0430 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e \u0440\u0430\u0437\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u043b\u0438\u0446\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0443 \u0433\u043b\u0430\u0437 \u0431\u044b\u043b \u0441\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0435\u0441. \u041b\u043e\u0441\u0441\u044b: DSSIM + MSE. \u041d\u0430 \u0433\u043f\u0443 \u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0443 \u0447\u0430\u0441\u043e\u0432.<\/p>\n<p>  <\/p>\n<p><strong>Conversion<\/strong>. \u041f\u043e \u0441\u0443\u0442\u0438 \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u043b\u0438\u0446\u043e \u0438\u0437 source \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 Decoder dst \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 DF \u0438\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 InterAB \u0438 InterB \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 LIAE. \u0421\u0433\u0435\u043d\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u043b\u0438\u0446\u043e \u0440\u0435\u0430\u043b\u0430\u0439\u043d\u0438\u0442\u0441\u044f \u043f\u043e \u043a\u0435\u0439\u043f\u043e\u0438\u043d\u0442\u0430\u043c \u0442\u0430\u0440\u0433\u0435\u0442 \u043b\u0438\u0446\u0430. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043c\u0430\u0442\u0447\u0438\u0442\u0441\u044f \u043f\u043e \u0446\u0432\u0435\u0442\u043e\u0432\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u0441 \u0442\u0430\u0440\u0433\u0435\u0442\u043e\u043c \u043e\u0434\u043d\u0438\u043c \u0438\u0437 5 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440. \u0411\u043b\u0435\u043d\u0434\u0438\u043d\u0433 \u0433\u0440\u0430\u043d\u0438\u0446 \u043b\u0438\u0446\u0430 \u043f\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 Poisson blending optimization. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0435\u0449\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0447\u0435\u0440\u0435\u0437 \u0441\u0443\u043f\u0435\u0440\u0440\u0435\u0437 \u0434\u043b\u044f \u0447\u0435\u0442\u043a\u043e\u0441\u0442\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/go\/ft\/gy\/goftgyc8eamylfbt4ce9mqeg3ak.png\"><\/p>\n<p>\u041f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0441\u043e\u0442\u0430. <\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/0i\/dg\/63\/0idg63vm4eg8y7l1ypcid3jp1so.png\" width=\"500\"><\/div>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c Ablation Study \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043d\u0438 \u0442\u0435\u0441\u0442\u0438\u043b\u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0433\u0430\u043d \u043b\u043e\u0441\u0441\u0430 \u0438 TrueFace. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043d\u0438\u0436\u0435.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/an\/_w\/4d\/an_w4daefif3pla1dtfjituv5i8.png\" width=\"500\"><\/div>\n<p>  <\/p>\n<h3 id=\"4-end-to-end-object-detection-with-transformers\">4. End-to-End Object Detection with Transformers<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko (Facebook AI, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2005.12872\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> | <a href=\"https:\/\/github.com\/facebookresearch\/detr\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043d\u0434\u0440\u0435\u0439 \u041b\u0443\u043a\u044c\u044f\u043d\u0435\u043d\u043a\u043e (\u0432 \u0441\u043b\u044d\u043a\u0435 artgor, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/Artgor\/\">artgor<\/a>)<\/p>\n<p>  <\/p>\n<p>\u041a\u043b\u0430\u0441\u0441\u043d\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a object detection \u043e\u0442 facebook! \u041e\u043d\u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u044d\u0442\u043e\u0439 \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u043a\u0430\u043a \u0441 \u043f\u0440\u044f\u043c\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u0441\u0435\u0442\u0430 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0451\u0442 42 AP \u043d\u0430 COCO! \u041d\u043e \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f 3 \u0434\u043d\u044f \u043d\u0430 16 V100. <\/p>\n<p>  <\/p>\n<p><strong>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0441\u0443\u0442\u044c<\/strong> DETR \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0442\u043e \u043e\u043d \u0441\u0440\u0430\u0437\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u043b\u043e\u0441\u0441\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 (performs bipartite) \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0431\u043e\u043a\u0441\u0430\u043c\u0438 \u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u043d\u0438 \u044f\u043a\u043e\u0440\u044f, \u043d\u0438 non-maximal supression. \u0415\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043c\u0438\u043d\u0443\u0441: \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u044e\u0442, \u0447\u0442\u043e DETR \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u0445, \u0442\u043e \u0445\u0443\u0436\u0435 \u043d\u0430 \u043c\u0435\u043b\u043a\u0438\u0445. \u0418 \u0434\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u0443\u0436\u043d\u043e, \u0446\u0438\u0442\u0438\u0440\u0443\u044e &quot;extra-long training schedule&quot;, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043b\u043e\u0441\u0441\u044b. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ro\/af\/un\/roafunbbte1aw5vzjmukubceues.png\"><\/p>\n<p><strong>DETR Model<\/strong><\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u0435\u0442\u043e\u0432 \u043d\u0443\u0436\u043d\u044b \u0434\u0432\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438: \u043b\u043e\u0441\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u043b\u0430\u0435\u0442 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0430\u0442\u0447\u0438\u043d\u0433 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u0431\u043e\u043a\u0441\u0430\u043c\u0438, \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0442\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0438\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0438.<\/p>\n<p>  <\/p>\n<p><strong>Object detection set prediction loss<\/strong><\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 N \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0437\u0430 \u043e\u0434\u0438\u043d \u0440\u0430\u0437. \u041e\u0431\u044b\u0447\u043d\u043e \u0447\u0438\u0441\u043b\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u041b\u043e\u0441\u0441 \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043c\u0430\u0442\u0447\u0438\u043d\u0433 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043b\u043e\u0441\u0441\u044b \u0434\u043b\u044f \u0431\u043e\u043a\u0441\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u0412 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 y \u2014 ground truth, y-hat \u2014 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 &quot;y&quot; \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c, \u0442\u043e \u0434\u0435\u043b\u0430\u044e\u0442 \u043f\u0430\u0434\u0434\u0438\u043d\u0433 \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 &quot;no object&quot;. \u041f\u043e \u0444\u0430\u043a\u0442\u0443 \u0438\u0449\u0435\u043c \u043f\u0435\u0440\u043c\u0443\u0442\u0430\u0446\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u0441\u0442\u043e\u043c.<\/p>\n<p>  <\/p>\n<p><math>$$display$$\\DeclareMathOperator*{\\argmin}{arg\\,min} \\newcommand{\\lmatch}[1]{{\\cal L}_{\\rm match}(#1)} \\hat{\\sigma} = \\argmin_{\\sigma\\in\\Sigma_N} \\sum_{i}^{N} \\lmatch{y_i, \\hat{y}_{\\sigma(i)}}$$display$$<\/math><\/p>\n<p>  <\/p>\n<p>Lmatch \u2014 pair-wise matching cost between ground truth and prediction. \u0421\u0447\u0438\u0442\u0430\u044e\u0442 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Hungarian algorithm. \u041e\u043d \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u044b \u0438 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0431\u043e\u043a\u0441\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0412\u0435\u043d\u0433\u0435\u0440\u0441\u043a\u0438\u0439 \u043b\u043e\u0441\u0441 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0430\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435. \u0414\u043b\u044f &quot;no object&quot; \u0434\u0435\u043b\u0438\u043c \u043b\u043e\u0433-\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430 10, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0438\u0441\u0431\u0430\u043b\u0430\u043d\u0441 \u043a\u043b\u0430\u0441\u0441\u043e\u0432.<\/p>\n<p>  <\/p>\n<p><math>$$display$$\\newcommand{\\hloss}[1]{{\\cal L}_{\\rm Hungarian}(#1)} \\newcommand{\\bloss}[1]{{\\cal L}_{\\rm box}(#1)} \\newcommand{\\indic}[1]{1_{\\{#1\\}}} \\hloss{y, \\hat{y}} = \\sum_{i=1}^N \\left[-\\log \\hat{p}_{\\hat{\\sigma}(i)}(c_{i}) + \\indic{c_i\\neq 0} \\bloss{b_{i}, \\hat{b}_{\\hat{\\sigma}}(i)}\\right]\\,,$$display$$<\/math><\/p>\n<p>  <\/p>\n<p><strong>Bounding box loss<\/strong><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c L1 \u043d\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u0438\u0431\u043e \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043c\u0435\u043b\u043a\u0438\u0445 \u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0431\u043e\u043a\u0441\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 IoU. \u041b\u044f\u043c\u0431\u0434\u044b \u2014 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u0418 \u043b\u043e\u0441\u0441 \u0434\u0435\u043b\u044f\u0442 \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0431\u0430\u0442\u0447\u0435.<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8a2\/d10\/dea\/8a2d10dead14238a48d0bcd984c813b6.svg\" alt=\"$\\lambda_{\\rm iou}{\\cal L}_{\\rm iou}(b_{i}, \\hat{b}_{\\sigma(i)}) + \\lambda_{\\rm L1} || b_{i} - \\hat{b}_{\\sigma(i)} ||_1$\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p><strong>DETR Architecture<\/strong>: CNN + transformer + FNN.<\/p>\n<p>  <\/p>\n<p>Backbone: \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u044e\u0431\u0443\u044e. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0445\u043e\u0442\u044f\u0442 \u0438\u043c\u0435\u0442\u044c feature maps \u0441 2048 \u043a\u0430\u043d\u0430\u043b\u0430\u043c\u0438, \u0432\u044b\u0441\u043e\u0442\u0430 \u0438 \u0448\u0438\u0440\u0438\u043d\u0430 \u043a\u0430\u0440\u0442\u043e\u043d\u043e\u043a \u0432 32 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/y1\/di\/zf\/y1dizfwpqoqrsxmlecq-gxw94gu.png\"><\/p>\n<p><strong>\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440<\/strong><\/p>\n<p>  <\/p>\n<p>\u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u044b \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c. <\/p>\n<p>  <\/p>\n<p><em>\u042d\u043d\u043a\u043e\u0434\u0435\u0440<\/em>. \u0412\u043d\u0430\u0447\u0430\u043b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c 1&#215;1 convolution, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0434\u043e d. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0443 \u043d\u0430\u0434\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043c\u044b \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c dxHW. \u0412 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f multi-head attention + FNN. \u041a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 attention \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f positional embeddings.<\/p>\n<p>  <\/p>\n<p><em>\u0414\u0435\u043a\u043e\u0434\u0435\u0440<\/em>. \u0414\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435. \u041d\u0430 \u0432\u0445\u043e\u0434 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0430\u044e\u0442 N \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u2014 \u044d\u0442\u043e \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c\u044b\u0435 positional encodings, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435. \u0418\u043c \u0434\u0430\u043b\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 object queries.<\/p>\n<p>  <\/p>\n<p>\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0431\u043e\u043a\u0441\u043e\u0432 \u0438 \u043a\u043b\u0430\u0441\u0441\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e FNN. \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f attention \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p><em>FNN<\/em>. \u0413\u043e\u043b\u043e\u0432\u0430 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0440\u0435\u0445\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0446\u0435\u043d\u0442\u0440\u0430 \u0431\u043e\u043a\u0441\u043e\u0432 \u0438 \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u044b, \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e softmax.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wt\/oa\/sh\/wtoashiox2nyaug7qgcubopz9mk.png\" width=\"400\"><\/div>\n<p>  <\/p>\n<p><strong>Auxiliary decoding losses<\/strong><\/p>\n<p>  <\/p>\n<p>\u0412 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 prediction FFNs, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0448\u0430\u0440\u044f\u0442\u0441\u044f, \u0438 Hungarian loss. \u0418 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 layer-norm \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0445\u043e\u0434\u043e\u0432 \u0432 prediction FNN \u0441 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430.<\/p>\n<p>  <\/p>\n<p><strong>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043d\u0430 COCO<\/strong><\/p>\n<p>  <\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: AdamW, \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 LR \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 10^-4, backbone&#8217;s \u2014 10^-5, weight decay 10^-4. \u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 ResNet-50 and ResNet-101 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 backbones \u2014 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u0432\u0430\u043b\u0438 DETR and DETR-101.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u0435\u0449\u0451 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443: \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f dilation \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 backbone \u0438 \u0443\u0431\u0438\u0440\u0430\u043d\u0438\u044f stride \u043d\u0430 \u044d\u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0430\u0434\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u0432\u0430\u043b\u0438 DETR-DC5 and DETR-DC5-R101. \u0422\u0440\u0435\u0431\u0443\u0435\u0442 \u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043c\u0435\u043b\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>Scale augmentation \u2014 \u043f\u043e\u0440\u0435\u0441\u0430\u0439\u0437\u0438\u043b\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043e\u0442 480 \u0434\u043e 800, \u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 1333. Random crop augmentation (+1 AP). \u0418 \u043f\u043e\u0441\u0442\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433 \u2014 \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0443\u0441\u0442\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b, \u0432\u0437\u044f\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 \u043f\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. +2 AP. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: 300 \u044d\u043f\u043e\u0445 \u2014 3 \u0434\u043d\u044f \u043d\u0430 16 V100. \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u043d\u0430 500 \u044d\u043f\u043e\u0445 \u0434\u0430\u0435\u0442 + 1.5 AP.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nd\/cz\/2s\/ndcz2sdbmuco_w86jbhotrw5waw.png\" width=\"500\"><\/div>\n<p>  <\/p>\n<p><strong>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 Faster R-CNN<\/strong><br \/>  \u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c Faster R-CNN:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c IoU \u0432 \u043b\u043e\u0441\u0441;<\/li>\n<li>random crop augmentations;<\/li>\n<li>\u0434\u043e\u043b\u044c\u0448\u0435 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432\u044b\u0448\u0435 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 Faster R-CNN \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0432 3 \u0440\u0430\u0437\u0430 \u0434\u043e\u043b\u044c\u0448\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e. \u0417\u043d\u0430\u0447\u043e\u043a &quot;+&quot;\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0443 \u0432 9 \u0440\u0430\u0437 \u0434\u043e\u043b\u044c\u0448\u0435 (109 \u044d\u043f\u043e\u0445). DETR \u0442\u0430\u0449\u0438\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 AP \u2014 \u043a\u0440\u043e\u043c\u0435 AP75 \u0438 APs<\/p>\n<p>  <\/p>\n<p><strong>Ablation<\/strong><\/p>\n<p>  <\/p>\n<p>\u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u0441\u0443\u0442\u0438 global scene reasoning \u0438 \u044d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u0430\u0437\u044a\u0435\u0434\u0438\u043d\u044f\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u044b. \u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u043e\u0435\u0432 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442.<\/p>\n<p>  <\/p>\n<p>FNN \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a 1 \u00d7 1 convolutional, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0447\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043d\u0430 attention augmented convolutional. \u0411\u0435\u0437 \u044d\u0442\u043e\u0433\u043e AP \u043f\u0430\u0434\u0430\u0435\u0442 \u043d\u0430 2.3.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vq\/mq\/f_\/vqmqf_jaewbwry37mfbvk26unfk.png\" width=\"500\"><\/div>\n<p>  <\/p>\n<p><strong>DETR for panoptic segmentation<\/strong><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0433\u043e\u043b\u043e\u0432\u0443 \u0441 \u043c\u0430\u0441\u043a\u043e\u0439 \u043f\u043e\u0441\u043b\u0435 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 (\u0431\u0438\u043d\u0430\u0440\u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u043b\u0430\u0441\u0441). \u041d\u043e \u0431\u043e\u043a\u0441\u044b \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0430\u0434\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u2014 \u0434\u043b\u044f \u043b\u043e\u0441\u0441\u0430.<\/p>\n<p>  <\/p>\n<p>\u0418 \u043a\u043b\u0430\u0441\u0441\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e argmax \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u0438\u043a\u0441\u0435\u043b\u044e. \u0422\u0430\u043a \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u0441\u044f \u043e\u0442 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0442\u0438\u044f \u043c\u0430\u0441\u043e\u043a \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/id\/u9\/jh\/idu9jhdvii2gtogns9xfqwgrdxk.png\"><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/4v\/1t\/bv\/4v1tbvzkrg3yhxst6bmdik-txe8.png\"><\/p>\n<p>\u0418 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u2014 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u0440\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043e\u0431\u0440\u0430\u0434\u043e\u0432\u0430\u043b\u0441\u044f. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0442\u0435\u043c \u0445\u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mo\/vm\/ft\/movmftvubnrtzivg8dy8cylfape.png\" width=\"500\"><\/div>\n<p>  <\/p>\n<h3 id=\"5-language-models-are-few-shot-learners\">5. Language Models are Few-Shot Learners<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Tom B. Brown et.al. (OpenAI, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2005.14165\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> | <a href=\"https:\/\/github.com\/openai\/gpt-3\">GitHub with examples and statistics<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0412\u0430\u0434\u0438\u043c \u041f\u0435\u0442\u0440\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 graviton, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/belgraviton\/\">belgraviton<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0414\u043e \u0441\u0438\u0445 \u043f\u043e\u0440, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u0432 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, questions answering) \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0443\u0447\u0435\u043d\u044b\u0445 \u0438\u0437 OpenAI \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430, \u0447\u0442\u043e \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 GPT-3 (\u0434\u043e 175B \u0432\u0435\u0441\u043e\u0432), \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0431\u0435\u0437 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u0430\u044f \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u043d\u0438\u0445 (\u0441\u043c. \u0433\u0440\u0430\u0444\u0438\u043a \u043d\u0438\u0436\u0435). \u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0438\u043c\u043e\u0435 \u043e\u0442 \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043b\u044e\u0434\u044c\u043c\u0438.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0437\u0443\u0447\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0440\u0430\u0437\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 zero-shot, one-shot \u0438 few-shot. \u0421\u043b\u0443\u0447\u0430\u0439 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043d\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043d\u0430 \u0431\u0443\u0434\u0443\u0449\u0435\u0435. \u0414\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f few-shot \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441\u043d\u0438\u0437\u0443 \u0432\u0438\u0434\u043d\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0440\u043e\u0441\u0442\u0435 \u0447\u0438\u0441\u043b\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/z_\/nl\/8k\/z_nl8kwqgsazooq56x9we5s_lka.png\"><\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 <strong>\u0437\u0430\u0434\u0430\u0447\u0438<\/strong>:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u0421\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 NLP \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0441\u0431\u043e\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u043e\u0434 \u043d\u0438\u0445. \u042d\u0442\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e.<\/li>\n<li>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043f\u043e\u0434 \u043d\u043e\u0432\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0433\u0434\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432.<\/li>\n<li>\u041b\u044e\u0434\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0441\u043c\u0435\u0436\u043d\u044b\u0445 NLP \u0437\u0430\u0434\u0430\u0447. \u0425\u043e\u0440\u043e\u0448\u0438\u0435 NLP \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0442\u0430\u043a\u0436\u0435 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435.<\/li>\n<\/ol>\n<p>  <\/p>\n<p><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/strong><\/p>\n<p>  <\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 GPT-2 \u0441 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043f\u0440\u0435\u0434\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438 \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u043e\u0439 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0435\u0439. \u041e\u0442\u043b\u0438\u0447\u0438\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043b\u043e\u0442\u043d\u044b\u0445 \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445 &quot;attention patterns&quot; \u0432 \u0441\u043b\u043e\u044f\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u041e\u0431\u0443\u0447\u0435\u043d\u043e 8 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0442 125M \u0434\u043e 175B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/bt\/y2\/6u\/bty26ummqatu1rle2epp_gm1tzs.png\"><\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 GPT-2 \u0442\u043e\u0436\u0435 \u043b\u0438\u0448\u044c \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 GPT-1, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0438\u0436\u0435.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/d5\/ra\/1a\/d5ra1a3m-rrvowygkf-kttuebva.png\"><\/div>\n<p>  <\/p>\n<p><strong>\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430<\/strong><\/p>\n<p>  <\/p>\n<p>\u0411\u044b\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b 5 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432: Common Crawl, WebText2, Books1, Books2 \u0438 Wikipedia. \u0412\u0441\u0435\u0433\u043e \u043e\u043a\u043e\u043b\u043e 300 \u043c\u043b\u0440\u0434 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0438\u0434\u0435\u044e, \u0447\u0442\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0443\u0436\u0435\u043d \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0438 \u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0421\u043f\u0438\u0441\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0448\u0435.<\/p>\n<p>  <\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d Adam, \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0432 1.0, cosine learning rate decay \u0438 warmup. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 GPT-3 \u0437\u0430\u043d\u044f\u043b\u043e 3640 PetaFlops-days \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0438\u0437 V100 GPU\u2019s, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u043c Microsoft.<\/p>\n<p>  <\/p>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432. \u0412 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u0438\u0437 \u043d\u0438\u0445 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e few shot \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0445\u043e\u0436\u0438\u0435 \u0441 fine tune SOTA \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438. \u041f\u0440\u0438\u043c\u0435\u0440\u043e\u043c, \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0434\u043b\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0434\u0430\u0436\u0435 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f SOTA. \u041e\u0431 \u044d\u0442\u043e\u043c \u043d\u0438\u0436\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/a3\/g9\/i4\/a3g9i4jcbo-e3r0_tpmjtes95gm.png\"><\/p>\n<p>\u041d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043f\u0430\u0440\u0430\u0433\u0440\u0430\u0444\u0435 SOTA \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0430 \u043d\u0430 8 %, \u0430 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0441 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0432\u0437\u043e\u0448\u043b\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0443\u044e SOTA (fine-tuned RoBERTa) \u043d\u0430 1% \u0434\u0430\u0436\u0435 \u0432 zero-shot \u0440\u0435\u0436\u0438\u043c\u0435!<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/e-\/hb\/d8\/e-hbd8oygpj9lmawxnmfbgszdbu.png\" width=\"350\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/in\/dt\/qo\/indtqosqfiqihyrdeaauuys4vfq.png\" width=\"350\">  <\/p>\n<p><em>\u0410\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438<\/em><\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 (few-shot) \u0440\u0435\u0448\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u043e\u043b\u044c\u0448\u0435 90% \u0434\u043b\u044f 2-\u0445 \u0438 3-\u0445 \u0437\u043d\u0430\u0447\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u043e\u0431\u0435\u0449\u0430\u044e\u0442 \u0432\u044b\u043b\u043e\u0436\u0438\u0442\u044c.<\/p>\n<p>  <\/p>\n<p><em>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439<\/em><\/p>\n<p>  <\/p>\n<p>\u0410\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0440\u0435\u0436\u0438\u043c few-shot. \u041c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u043e\u0441\u044c 3 \u043d\u043e\u0432\u043e\u0441\u0442\u0438 \u043f\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0442\u0435\u043c\u0435 \u0438 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441 \u043f\u043e\u0434\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u043c \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c 80 \u043b\u044e\u0434\u044c\u043c\u0438. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0434\u043b\u044f GPT-3 \u0442\u043e\u043b\u044c\u043a\u043e 52%, \u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0443\u0440\u043e\u0432\u043d\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 (50%) \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043b\u044e\u0434\u0438 \u0442\u0440\u0430\u0442\u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043e\u0446\u0435\u043d\u043a\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/4i\/z1\/5p\/4iz15pqyy73wrg4cwe3r2aysucs.png\" width=\"500\"><\/div>\n<p>  <\/p>\n<p><strong>\u0418\u043c\u0435\u044e\u0449\u0438\u0435\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/strong><\/p>\n<p>  <\/p>\n<ul>\n<li>\n<p>\u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043d\u0430\u0448\u043b\u0438 \u0440\u044f\u0434 \u0437\u0430\u0434\u0430\u0447, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u043b\u0430 \u043d\u0435\u0443\u0441\u043f\u0435\u0448\u043d\u0430 (\u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0432\u044f\u0437\u0438 \u0434\u0432\u0443\u0445 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439 -ANLI dataset, \u0441\u0436\u0430\u0442\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u2014 RACE, QuAC).<\/p>\n<p>  <\/li>\n<li>\n<p>\u0418\u0437-\u0437\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0435 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043e\u0442 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0442\u0438\u044f. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0442\u0438\u0439 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/p>\n<p>  <\/li>\n<li>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432: \u0438\u043d\u043e\u0433\u0434\u0430 \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u044f \u0438 \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u043d\u0435\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>  <\/li>\n<\/ul>\n<p>  <\/p>\n<h3 id=\"6-tabnet-attentive-interpretable-tabular-learning\">6. TabNet: Attentive Interpretable Tabular Learning<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Sercan O. Arik, Tomas Pfister (Google Cloud AI, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/1908.07442\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> | <a href=\"https:\/\/github.com\/google-research\/google-research\/tree\/master\/tabnet\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u0435\u043b\u044c\u0441\u043a\u0438\u0445 (\u0432 \u0441\u043b\u044d\u043a\u0435 belskikh)<\/p>\n<p>  <\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u043e\u0442 Google, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0449\u0430\u044f \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043d\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0438 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u043e\u0441\u0442\u0438. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 self-supervising, \u0447\u0442\u043e \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445.<\/p>\n<p>  <\/p>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 tree-based \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432, \u043d\u0430 \u0432\u0445\u043e\u0434 TabNet \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0441\u044b\u0440\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u043d\u0430 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<p>\u0412 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d sequential attention \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e decision step, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433 \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u043c\u043c\u0430\u044f sparse \u043c\u0430\u0441\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0447\u0442\u043e\u0431 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xw\/pd\/fw\/xwpdfw3vtpah9da_si87fhcxeme.png\"><\/p>\n<p>\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043a \u0432\u0438\u0434\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u0421\u0430\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c feature transformer (\u043d\u0438\u0447\u0435\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u0441 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439 Transformer \u043d\u0435 \u0438\u043c\u0435\u0435\u0442).<\/p>\n<p>  <\/p>\n<p>\u0412 \u0440\u0435\u0436\u0438\u043c\u0435 self-supervised pretraining \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0433\u0434\u0435 \u044d\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u0430\u0441\u043a\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ts\/cr\/tp\/tscrtpxwpsy03emvn4lwjbwllxe.png\"><\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0441\u0435\u0431\u044f \u043d\u0430\u0440\u0430\u0432\u043d\u0435 \u0438\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0438\u0435 SOTA \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438 \u0434\u043b\u044f \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ud\/48\/i7\/ud48i711z00ayf5m27hghgn1kd0.png\" width=\"350\"> <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/e5\/4i\/0b\/e54i0bx7w6l4aot9-x0uir2auzw.png\" width=\"350\">  <\/p>\n<p>\u2191 <a href=\"#1-eca-net-efficient-channel-attention-for-deep-convolutional-neural-networks\">\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u043e<\/a><\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/507880\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/507880\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/507880\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-eca-net-efficient-channel-attention-for-deep-convolutional-neural-networks\">ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks (China, 2020)<\/a><\/li>\n<li><a href=\"#2-tapas-weakly-supervised-table-parsing-via-pre-training\">TAPAS: Weakly Supervised Table Parsing via Pre-training (Google, 2020)<\/a><\/li>\n<li><a href=\"#3-deepfacelab-a-simple-flexible-and-extensible-faceswapping-framework\">DeepFaceLab: A simple, flexible and extensible faceswapping framework (2020)<\/a><\/li>\n<li><a href=\"#4-end-to-end-object-detection-with-transformers\">End-to-End Object Detection with Transformers (Facebook AI, 2020)<\/a><\/li>\n<li><a href=\"#5-language-models-are-few-shot-learners\">Language Models are Few-Shot Learners (OpenAI, 2020)<\/a><\/li>\n<li><a href=\"#6-tabnet-attentive-interpretable-tabular-learning\">TabNet: Attentive Interpretable Tabular Learning (Google Cloud AI, 2020)<\/a><\/li>\n<\/ol>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-305915","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/305915","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=305915"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/305915\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=305915"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=305915"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=305915"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}