{"id":311455,"date":"2020-10-14T15:00:37","date_gmt":"2020-10-14T15:00:37","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=311455"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=311455","title":{"rendered":"\u0420\u0443\u0431\u0440\u0438\u043a\u0430 \u00ab\u0427\u0438\u0442\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u044c\u0438 \u0437\u0430 \u0432\u0430\u0441\u00bb. \u0418\u044e\u043b\u044c \u2014 \u0430\u0432\u0433\u0443\u0441\u0442 2020 \u0433\u043e\u0434\u0430"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/523268\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-high-resolution-neural-face-swapping-for-visual-effects\">High-Resolution Neural Face Swapping for Visual Effects (Disney Research Studios, ETH Zurich, 2020)<\/a><\/li>\n<li><a href=\"#2-beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist\">Beyond Accuracy: Behavioral Testing of NLP Models with CheckList (USA, 2020)<\/a><\/li>\n<li><a href=\"#3-thieves-on-sesame-street-model-extraction-of-bert-based-apis\">Thieves on Sesame Street! Model Extraction of BERT-based APIs (UMass &amp; Google Research, ICLR, 2019)<\/a><\/li>\n<li><a href=\"#4-time-aware-user-embeddings-as-a-service\">Time-Aware User Embeddings as a Service (Yahoo! Research, Temple University, 2020)<\/a><\/li>\n<li><a href=\"#5-are-labels-necessary-for-neural-architecture-search\">Are Labels Necessary for Neural Architecture Search? (Johns Hopkins University, Facebook AI Research, 2020)<\/a><\/li>\n<li><a href=\"#6-gshard-scaling-giant-models-with-conditional-computation-and-automatic-sharding\">GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (Google, 2020)<\/a><\/li>\n<li><a href=\"#7-data-shapley-equitable-valuation-of-data-for-machine-learning\">Data Shapley: Equitable Valuation of Data for Machine Learning (USA, 2019)<\/a><\/li>\n<li><a href=\"#8-language-agnostic-bert-sentence-embedding\">Language-agnostic BERT Sentence Embedding (Google AI, 2020)<\/a><\/li>\n<li><a href=\"#9-self-supervised-learning-for-large-scale-unsupervised-image-clustering\">Self-Supervised Learning for Large-Scale Unsupervised Image Clustering (Technion, Israel, 2020)<\/a><\/li>\n<li><a href=\"#10-batch-channel-normalization-and-weight-standardization-2-papers\">Batch-Channel Normalization and Weight Standardization (2 papers, Johns HopkinsUniversity, USA, 2019)<\/a><\/li>\n<\/ol>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0441\u0431\u043e\u0440\u043d\u0438\u043a\u0438 \u0441\u0435\u0440\u0438\u0438:<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<ul>\n<li>2020 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/493016\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0424\u0435\u0432\u0440\u0430\u043b\u044c<\/a>, \u041c\u0430\u0440\u0442 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/496024\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/497268\/\">\u04472<\/a>, \u0410\u043f\u0440\u0435\u043b\u044c <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/502786\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/505040\/\">\u04472<\/a>, \u041c\u0430\u0439 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/506592\/\">\u04471<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/507880\/\">\u04472<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/515688\/\">\u0418\u044e\u043d\u044c<\/a><\/li>\n<li>2019 \u0433\u043e\u0434: <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/471514\/\">\u042f\u043d\u0432\u0430\u0440\u044c \u2014 \u0418\u044e\u043d\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/472672\/\">\u0418\u044e\u043b\u044c \u2014 \u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/485122\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u0414\u0435\u043a\u0430\u0431\u0440\u044c<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/352508\/\">\u0414\u0435\u043a\u0430\u0431\u0440\u044c 2017 \u2014 \u042f\u043d\u0432\u0430\u0440\u044c 2018<\/a>, <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/352518\/\">\u0424\u0435\u0432\u0440\u0430\u043b\u044c \u2014 \u041c\u0430\u0440\u0442 2018<\/a><\/li>\n<li>2017 \u0433\u043e\u0434: <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/336624\/\">\u0410\u0432\u0433\u0443\u0441\u0442<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/339094\/\">\u0421\u0435\u043d\u0442\u044f\u0431\u0440\u044c<\/a>, <a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/343822\/\">\u041e\u043a\u0442\u044f\u0431\u0440\u044c \u2014 \u041d\u043e\u044f\u0431\u0440\u044c<\/a> <\/li>\n<\/ul>\n<\/div><\/div>\n<p>  <\/p>\n<h3 id=\"1-high-resolution-neural-face-swapping-for-visual-effects\">1. High-Resolution Neural Face Swapping for Visual Effects<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: J. Naruniec, L. Helminger, C. Schroers and R.M. Weber (Disney Research Studios, ETH Zurich, 2020)<br \/>  <a href=\"https:\/\/s3.amazonaws.com\/disney-research-data\/wp-content\/uploads\/2020\/06\/18013325\/High-Resolution-Neural-Face-Swapping-for-Visual-Effects.pdf\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0428\u0438\u0440\u043e\u043d\u043e\u0441\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 shiron8bit, head of ml at Dowell\/Everypixel)<\/p>\n<p>  <\/p>\n<p>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438\u0437 disney research \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0440\u044f\u0434 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0433\u043e Y-shaped \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0437\u0430\u043c\u0435\u043d\u044b \u043b\u0438\u0446 (face swap), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 \u0438\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 1024&#215;1024, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0445 \u0432 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 (\u0443 deepfacelab [DFL] \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438).<\/p>\n<p>  <\/p>\n<p><strong>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/strong><br \/>  \u0410\u0432\u0442\u043e\u0440\u044b \u0447\u0435\u0442\u043a\u043e \u043e\u0442\u0434\u0435\u043b\u044f\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 face swapping \u043e\u0442 \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0449\u0435\u0439\u0441\u044f \u0440\u044f\u0434\u043e\u043c \u0437\u0430\u0434\u0430\u0447\u0438 face reenactment \u2014 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043b\u0438\u0446\u043e \u043f\u0435\u0440\u0441\u043e\u043d\u044b \u0438\u0437 source \u0432\u0438\u0434\u0435\u043e \u043c\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c \u0432 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043f\u0435\u0440\u0441\u043e\u043d\u044b \u043d\u0430 target-\u0432\u0438\u0434\u0435\u043e, \u043d\u0443 \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u0441\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 \u044d\u043c\u043e\u0446\u0438\u0438 \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f target-\u043f\u0435\u0440\u0441\u043e\u043d\u043e\u0439, \u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e \u044d\u043c\u043e\u0446\u0438\u044f\u043c \u0438\u0437 source \u043c\u044b \u0430\u043d\u0438\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u0435\u0440\u0441\u043e\u043d\u0443\/\u043b\u0438\u0446\u043e \u0438\u0437 target (\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u0432\u0438\u0434\u0435\u043e, \u0442\u0430\u043a \u0438 \u0444\u043e\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 one-shot \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438). \u0417\u0430\u0434\u0430\u0447\u0430 \u0437\u0430\u043c\u0435\u043d\u044b \u043b\u0438\u0446 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432 \u043a\u0438\u043d\u043e\u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e \u2018\u043e\u0436\u0438\u0432\u0438\u0442\u044c\u2019 \u0443\u0436\u0435 \u043c\u0435\u0440\u0442\u0432\u043e\u0433\u043e \u0430\u043a\u0442\u0435\u0440\u0430, \u043e\u043c\u043e\u043b\u043e\u0434\u0438\u0442\u044c \u0435\u0449\u0435 \u0436\u0438\u0432\u043e\u0433\u043e, \u0434\u0430 \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0434\u0443\u0431\u043b\u0435\u0440\u043e\u0432\/\u043a\u0430\u0441\u043a\u0430\u0434\u0435\u0440\u043e\u0432, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u043d\u0430 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0442\u0440\u0443\u0434\u043e\u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0438 \u0434\u043e\u0440\u043e\u0433\u043e\u0433\u043e cgi (computer-generated imagery), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u0435\u0441 \u0434\u0438\u0441\u043d\u0435\u044f \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u043d.<\/p>\n<p>  <\/p>\n<p><strong>\u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/strong><br \/>  \u0410\u0432\u0442\u043e\u0440\u044b, \u043a\u0430\u043a \u0438 \u0432 DFL, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u0434\u0435\u044e \u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b YAN, SHUQI, HE, SHAORONG, LEI, XUE, et al. \u201cVideo Face Swap Based on Autoencoder Generation Network\u201d, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0430 \u0438\u0434\u0435\u044f Y-shaped \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430, \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u043d\u0435\u043a\u043e\u0435 \u043e\u0431\u0449\u0435\u0435 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u043f\u0435\u0440\u0441\u043e\u043d \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u0438 \u0434\u0432\u0443\u0445 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u043c\u0435\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u0443. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441\u0435\u0442\u043a\u0430 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u044d\u043c\u043e\u0446\u0438\u0439, \u0430 \u0440\u0430\u0441\u043f\u0443\u0442\u044b\u0432\u0430\u043d\u0438\u0435 (disentanglement) \u043f\u0435\u0440\u0441\u043e\u043d \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 DFL (\u0448\u0438\u0440\u043e\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0432 \u043d\u0435\u043c Stylized autoencoder\/SAE-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b), \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c comb-\u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u0432\u0443\u043c\u044f \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430\u043c\u0438. \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0431\u0440\u0430\u043b\u0438 8 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u043b\u0438 6 \u043f\u0435\u0440\u0441\u043e\u043d (\u0434\u043b\u044f 2 \u043f\u0435\u0440\u0441\u043e\u043d \u0431\u044b\u043b\u043e \u043f\u043e 2 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 target-\u0432\u0438\u0434\u0435\u043e).<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/uq\/ca\/gc\/uqcagcvg5rqp77kmfckaqhhc6a0.png\">  <\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0430\u043c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0437\u0430\u043c\u0435\u043d\u044b \u043b\u0438\u0446 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439: \u0432\u044b\u0440\u0435\u0437\u0430\u0435\u043c \u0438\u0437 \u043a\u0430\u0434\u0440\u0430 target-\u043b\u0438\u0446\u043e \u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0435\u0433\u043e, \u043f\u043e\u0434\u0430\u0435\u043c \u043d\u0430 \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0439\u0441\u044f \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u043e\u0434\u0430\u0435\u043c \u043d\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0442\u043e\u0439 \u043f\u0435\u0440\u0441\u043e\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u2018\u043f\u0435\u0440\u0435\u0441\u0430\u0436\u0438\u0432\u0430\u0435\u043c\u2019 \u043d\u0430 target, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0435 \u043f\u043e \u044d\u043c\u043e\u0446\u0438\u0438 \u0438 \u043f\u0440\u043e\u0447\u0435\u043c\u0443 appearance \u043b\u0438\u0446\u043e \u0438\u0437 source, \u0434\u0435\u043b\u0430\u0435\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435, \u043f\u0435\u0440\u0435\u0441\u0430\u0436\u0438\u0432\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043b\u0438\u0446\u043e (\u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u044f \u0431\u043b\u0435\u043d\u0434\u0438\u0442\u044c).<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ko\/1a\/ca\/ko1aca92sapunxx_0uehaybrd5g.png\" width=\"500\" height=\"300\">  <\/p>\n<p><strong>\u0423\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430<\/strong><br \/>  \u0410\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u0440\u044e\u043a\u0438 \u0434\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u0434\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0430\u0436 1024 \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 ProGAN\/StyleGAN1 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 progressive-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043f\u043e\u0434 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b: \u0441\u0442\u0430\u0440\u0442\u0443\u044e\u0442 \u0441 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f 4&#215;4, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043a \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0443 \u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043f\u043e \u0431\u043b\u043e\u043a\u0443, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u043c\u0443 \u0441 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043c (\u0441 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0443\/\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0443 \u0434\u0430\u0443\u043d\u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0443 \u0438 \u0430\u043f\u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0443). \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u0438 \u0431\u043b\u043e\u043a\u0438 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u0435 \u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0433\u0434\u0435-\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0435\u0449\u0435 to_rgb\/from_rgb \u0441\u0432\u0435\u0440\u0442\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0443\u0436\u043d\u044b \u0434\u043b\u044f \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u0438 \u0438\u043d\u043f\u0443\u0442\u043e\u0432 \u0438 \u0434\u043b\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u0430\u0445. \u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u2018\u0448\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u2019 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043d\u043e\u0432\u044b\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u0441 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0444\u0435\u0439\u0434\u0438\u043d\u0433, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u0441\u043c\u0435\u0441\u0438 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438 alpha \u0438 1-alpha \u0432\u044b\u0445\u043e\u0434\u0430 \u0441 \u043d\u043e\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0432 2 \u0440\u0430\u0437\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e (\u0443\u0436\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e) \u0441\u043b\u043e\u044f. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 alpha \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442 0 \u0434\u043e 1, \u0430 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043d\u0438\u043c \u0438 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430.<\/li>\n<li>\u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u0441\u043d\u044f\u0442\u044b\u0445 4K-\u0432\u0438\u0434\u0435\u043e c 9 \u0434\u043e\u0431\u0440\u043e\u0432\u043e\u043b\u044c\u0446\u0430\u043c\u0438, \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043f\u0440\u0435\u0434\u044a\u044f\u0432\u043b\u044f\u043b\u0438 \u043f\u043e 10^5 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0435\u0440\u0441\u043e\u043d\u044b. \u0421\u0430\u043c\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e \u043a\u0430\u0436\u0434\u044b\u043c \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u0441\u0432\u043e\u0435\u0439 \u043f\u0435\u0440\u0441\u043e\u043d\u044b, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445, \u043a\u0440\u043e\u043c\u0435 \u0434\u0432\u0443\u0445 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445\/\u0431\u043e\u043b\u044c\u0448\u0438\u0445, \u0431\u0440\u0430\u043b\u0430\u0441\u044c SSIM, \u0430 \u043d\u0430 \u0434\u0432\u0443\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u2014 MS-SSIM. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u0432\u0435\u0434\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u043c\u0430\u0441\u043a\u0435 target-\u043b\u0438\u0446\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435\u043c \u043a\u043e\u043d\u0442\u0443\u0440\u0430, \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u043e\u0433\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043b\u044d\u043d\u0434\u043c\u0430\u0440\u043e\u043a (\u0447\u0442\u043e\u0431\u044b \u0431\u0440\u043e\u0432\u0438 \u0442\u043e\u0436\u0435 \u0432\u043b\u0435\u0437\u043b\u0438). <\/li>\n<li>\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043b\u044d\u043d\u0434\u043c\u0430\u0440\u043e\u043a \u043e\u0431\u0443\u0447\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445, \u0434\u0430 \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445, \u0447\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e high-res \u043a\u0430\u0434\u0440\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u0441\u043a\u0430\u0447\u043a\u0430\u043c \u0432 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u043a\u0430\u0434\u0440\u0430\u0445 \u0438 \u043a \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u043c\u0443 \u043c\u0435\u0440\u0446\u0430\u043d\u0438\u044e \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u043c \u0432\u0438\u0434\u0435\u043e. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043b\u044d\u043d\u0434\u043c\u0430\u0440\u043e\u043a \u043f\u043e n=9 \u0441\u043c\u0435\u0449\u0435\u043d\u043d\u044b\u043c \u0432\u0435\u0440\u0441\u0438\u044f\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e bounding box\u2019\u0430 \u0441 \u043b\u0438\u0446\u043e\u043c (\u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0434\u0435\u043b\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0441\u0438, \u043f\u043e \u0441\u0443\u0442\u0438 \u0432\u0435\u0440\u0441\u0438\u044f tta). <\/li>\n<li>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0432 \u0446\u0432\u0435\u0442\u0435 \u0438 \u043e\u0441\u0432\u0435\u0449\u0435\u043d\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 source \u0438 target \u0432\u0438\u0434\u0435\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u043c \u2018\u0448\u0432\u0430\u043c\u2019 (seams) \u0432 \u043c\u0435\u0441\u0442\u0435 \u043d\u0430\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043b\u0438\u0446\u0430 \u043f\u043e \u043c\u0430\u0441\u043a\u0435, \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u044f \u0443\u0436\u0435 \u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f\u0445 \u043c\u0435\u0436\u0434\u0443 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043b\u0438\u0446\u0430 \u0438 \u0432\u043d\u0435\u0448\u043d\u0435\u0439. \u0417\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0435\u0448\u0430\u044e\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0431\u043b\u0435\u043d\u0434\u0438\u043d\u0433\u0430 (\u0442.\u043d. seamless blending), \u043d\u043e \u043e\u043d \u0442\u043e\u0436\u0435 \u0441\u043f\u0430\u0441\u0430\u0435\u0442 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 multi-band blending, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u044b \u0413\u0430\u0443\u0441\u0441\u0430 \u0438 \u041b\u0430\u043f\u043b\u0430\u0441\u0430 (\u043f\u043e \u0441\u0443\u0442\u0438 \u043d\u0430\u0431\u043e\u0440 \u0437\u0430\u0434\u0430\u0443\u043d\u0441\u044d\u043c\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0440\u0430\u0437\u043d\u0438\u0446\/\u0433\u0440\u0430\u043d\u0435\u0439, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f). \u0421\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u043c \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u044b \u043f\u043e \u043c\u0430\u0441\u043a\u0435 (\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u043e\u0436\u0435 \u0434\u0430\u0443\u043d\u0441\u044d\u043c\u043f\u043b\u0438\u0442\u0441\u044f \u0434\u043e \u043d\u0443\u0436\u043d\u044b\u0445 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0439) \u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u044b \u041b\u0430\u043f\u043b\u0430\u0441\u0430, \u043d\u043e \u0434\u043b\u044f 2 \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u043d\u043d\u0438\u0445 \u0438 \u043d\u0438\u0437\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0431\u0435\u0440\u0435\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u0443\u0441\u043a\u0438 \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u044b \u043e\u0442 target.<\/li>\n<li>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0431\u043b\u0435\u043d\u0434\u0438\u043d\u0433\u0430 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 Global Contrast Factor (\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0440\u0430\u0432\u043d\u0430\u044f \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043e\u0432, \u0441\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 L \u0432 Lab), \u0438 \u0432\u044b\u0445\u043e\u0434 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0443\u043c\u043d\u043e\u0436\u0430\u044e\u0442 \u043d\u0430 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u0430 \u0432 target \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043b\u0438\u0446\u0435.<\/li>\n<\/ol>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wu\/5q\/ub\/wu5qubrzjxarbomttz_owdcsqwi.png\">  <\/p>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><br \/>  \u0412 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 DFL \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u043e\u0442 Nirkin, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043d\u0430 3dmm. \u0412 ablation \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 progressive \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u044b\u0445\u043e\u0434\u0430 \u0441\u0435\u0442\u0438, \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f multi-band \u0431\u043b\u0435\u043d\u0434\u0438\u043d\u0433\u0430 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u0430 (\u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0434\u043e \u0431\u043b\u0435\u043d\u0434\u0438\u043d\u0433\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0445\u0443\u0436\u0435). <\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432, \u0431\u043e\u043b\u044c\u0448\u0435\u0435 2, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043c\u043e\u0446\u0438\u0438 \u0434\u043b\u044f \u043f\u0435\u0440\u0441\u043e\u043d \u0432 \u0442\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0445\u043e\u0436\u0438\u0445 \u044d\u043c\u043e\u0446\u0438\u0439 \u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u044b \u043d\u0435 \u0431\u044b\u043b\u043e. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0431\u0449\u0438\u0445 \u0441\u043b\u043e\u0435\u0432 \u0443 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e: \u0432\u0430\u0436\u043d\u043e \u0441\u043e\u0431\u043b\u044e\u0434\u0430\u0442\u044c \u0431\u0430\u043b\u0430\u043d\u0441, \u0447\u0442\u043e\u0431\u044b, \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u0443\u044e \u044d\u043c\u043e\u0446\u0438\u044e, \u0430 \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u043d\u043e\u0432\u043e\u0435 \u043b\u0438\u0446\u043e \u0431\u0435\u0437 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0442 \u0441\u0442\u0430\u0440\u043e\u0433\u043e (\u044d\u0442\u0430 \u0442\u0435\u043d\u0434\u0435\u043d\u0446\u0438\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435\u043c \u0447\u0438\u0441\u043b\u0430 \u043e\u0431\u0449\u0438\u0445 \u0441\u043b\u043e\u0435\u0432); \u0432 \u0438\u0442\u043e\u0433\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 2 \u043e\u0431\u0449\u0438\u0445 \u0441\u043b\u043e\u044f\u0445 \u0443 \u0432\u0441\u0435\u0445 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/p2\/yq\/sf\/p2yqsft8oodefapb3jekhjuynbw.png\"><\/p>\n<h3 id=\"2-beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist\">2. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh (USA, 2020)<br \/>  <a href=\"https:\/\/www.aclweb.org\/anthology\/2020.acl-main.442\/\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/marcotcr\/checklist\">GitHub project<\/a> :: (ACL 2020 best paper award)<br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u042e\u0440\u0438\u0439 \u041a\u0430\u0448\u043d\u0438\u0446\u043a\u0438\u0439 (\u0432 \u0441\u043b\u044d\u043a\u0435 yorko, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/yorko\/\">yorko<\/a>)<\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u043f\u0440\u0438\u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0435\u0440\u044c \u0432\u043e \u0432\u0437\u0440\u043e\u0441\u043b\u043e\u0435 \u0431\u0443\u0434\u0443\u0449\u0435\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u044b\u043a\u0430\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0443 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0440\u0435\u043a\u0430\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u043c\u0435\u0442\u0440\u0438\u043a. \u0417\u0434\u0435\u0441\u044c \u0440\u0435\u0447\u044c \u043f\u0440\u043e NLP, \u043d\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0442\u0435\u0437\u0438\u0441\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0432 \u0446\u0435\u043b\u043e\u043c \u043d\u0430 \u0432\u0435\u0441\u044c ML \u2014 \u0432 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u043c \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0431\u0438\u0437\u043d\u0435\u0441 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u0430\u0441 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u0437\u0430 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qi\/ty\/6a\/qity6axknp-y2i4ygpvxr1rxy-c.png\">  <\/p>\n<p>\u0422\u0443\u0442 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 SWE \u043d\u0430 NLP-\u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 black-box testing (\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0445\u043e\u0434-\u0432\u044b\u0445\u043e\u0434, \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043f\u0440\u043e \u0441\u0430\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c), minimum functionality test (\u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438), metamorphic test (\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043f\u0435\u0440\u0442\u0443\u0440\u0431\u0430\u0446\u0438\u0438, \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0449\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438, \u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437).<\/p>\n<p>  <\/p>\n<ul>\n<li>\n<p>\u0412\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0432 open source \u0442\u0443\u043b\u0437\u0443 CheckList, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0434\u043b\u044f NLP-\u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f sentiment analysis: \u043f\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0443 &quot;I {negation} {pos_verb} the {thing}&quot; \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u043f\u043b\u043e\u0434\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442-\u043a\u0435\u0439\u0441\u043e\u0432 \u0441 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0441\u0435\u043d\u0442\u0438\u043c\u0435\u043d\u0442\u043e\u043c (eg. &quot;I don&#8217;t like the service&quot;). \u041f\u0440\u0438\u043a\u043e\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 RoBerta \u043a\u0430\u043a MLM, \u0447\u0442\u043e\u0431 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430-\u0432\u0441\u0442\u0430\u0432\u043a\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f {pos_verb} \u044d\u0442\u043e like, love, enjoy \u0438 \u0442.\u0434. \u0435\u0441\u043b\u0438 \u0444\u0430\u043d\u0442\u0430\u0437\u0438\u0438 \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442, \u0442\u043e \u0442\u0443\u0442 \u0420\u043e\u0431\u0435\u0440\u0442\u0430 \u043f\u043e\u0434\u0441\u043a\u0430\u0436\u0435\u0442 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u043e\u0432, \u043f\u0440\u0438\u0447\u0435\u043c \u043f\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443.<\/p>\n<p>  <\/li>\n<li>\n<p>\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0438 \u0443 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0442 \u0433\u0438\u0433\u0430\u043d\u0442\u043e\u0432 (Google, Amazon, Microsoft) \u0438 \u0443 SOTA \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (BERT, RoBerta) \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0441\u044f\u043a\u043e\u0432 (\u043d\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u043d\u0435 \u0447\u0435\u0440\u0440\u0438-\u043f\u0438\u043a\u0438\u043d\u0433 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, a disciplined approach). \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u0435\u0441\u0442\u0430\u043c \u0431\u0435\u0440\u0442\u044b \u043b\u0443\u0447\u0448\u0435 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u2014 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u0444\u0440\u0430\u0437\u0430\u043c, \u0442.\u043a. \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 SST \u0441 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043a\u0430\u043c\u0438 \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438).<\/p>\n<p>  <\/li>\n<li>\n<p>\u041f\u043e\u043e\u0431\u0449\u0430\u043b\u0438\u0441\u044c \u0441 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 Microsoft Text Analytics, \u0437\u0430 5-\u0447\u0430\u0441\u043e\u0432\u0443\u044e \u0441\u0435\u0441\u0441\u0438\u044e \u0443\u0441\u043f\u0435\u043b\u0438 \u043d\u0430\u0443\u0447\u0438\u0442\u044c \u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u0443\u043b\u0437\u043e\u0439 CheckList, \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043a\u0443\u0447\u0443 \u0442\u0435\u0441\u0442\u043e\u0432 \u0438 \u043d\u0430\u0439\u0442\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0431\u0430\u0433\u043e\u0432 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d-\u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u0430\u043a-\u0442\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0430\u043c\u043e\u0433\u043e Microsoft \u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0444\u0438\u0434\u0431\u0435\u043a\u0430 \u043a\u0443\u0447\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0415\u0441\u043b\u0438 \u0432\u0441\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a (\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0430\u0432\u0442\u043e\u0440 \u0432\u0441\u0435 \u0436\u0435 \u0438\u0437 Microsoft Research), \u0442\u043e \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u044d\u043f\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u043a \u043b\u0438\u0434\u0435\u0440\u043e\u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0437\u0430 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0438\u0440\u0443\u044e\u0442 \u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043d\u0430\u0439\u0442\u0438 \u043a\u0443\u0447\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 \u0438\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u0447\u0443\u0432\u0430\u043a\u0438 \u0437\u0430\u0440\u0435\u043b\u0438\u0437\u0438\u043b\u0438 \u043d\u0435 \u0432\u0441\u0435, \u0430 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0433\u043e \u043a\u043e\u043d\u0441\u0430\u043b\u0442\u0438\u043d\u0433-\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0430.<\/p>\n<p>  <\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b best practices \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ML \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u2014 \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u044d\u0442\u0438\u043c ML \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0432\u0441\u0435 \u0436\u0435 \u043d\u0435 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c &quot;\u0434\u0435\u0442\u0441\u043a\u0438\u0445&quot; \u043e\u0448\u0438\u0431\u043e\u043a. \u0421\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441 \u044d\u0442\u0438\u043c \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442, \u0437\u0430\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0434\u0435\u0431\u0430\u0436\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u043a\u043e\u0441\u044f\u043a\u0438, \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0438 \u0442.\u0434., \u044d\u0442\u043e \u0443\u0436\u0435 \u043d\u0435\u043c\u0430\u043b\u043e.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0442\u0430\u043a\u043e\u0439 <strong>\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434<\/strong>. \u0415\u0441\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (\u0432 \u0441\u0442\u0430\u0442\u044c\u0435 Capabilities), \u0438\u0445 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0442\u0435\u0441\u0442\u0430\u043c\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0442\u0430\u043a\u0436\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e\u0438\u0441\u043a \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0432 (Quora Question Pairs) \u0438 Reading comprehension.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c):<\/p>\n<p>  <\/p>\n<ul>\n<li>\n<p><em>\u0441\u043b\u043e\u0432\u0430\u0440\u044c + POS<\/em> \u2014 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430 \u0438 \u0438\u0445 \u0444\u043e\u0440\u043c\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u0434\u043e\u043b\u0436\u043d\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437);<\/p>\n<p>  <\/li>\n<li>\n<p><em>\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c<\/em> (robustness) \u043a \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0430\u043c (\u0438\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e: \u0437\u0430\u043c\u0435\u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0435 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043e\u0441\u043e\u0431\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437);<\/p>\n<p>  <\/li>\n<li>\n<p><em>NER<\/em> \u2014 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0440\u043e\u043b\u0438 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u043c\u0435\u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043b\u043e\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 \u0434\u0440\u0443\u0433\u0443\u044e \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c);<\/p>\n<p>  <\/li>\n<li>\n<p><em>\u043e\u0442\u0440\u0438\u0446\u0430\u043d\u0438\u0435 (negation)<\/em> \u2014 \u0432\u043e\u0442 \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u043e\u043b\u044c \u0441\u0438\u0441\u0442\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041f\u0440\u0438\u043c\u0435\u0440: &quot;I thought the plane would be awful but it wasn&#8217;t&quot;;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0440\u0443\u0433\u0438\u0435: fairness, temporal, coreference, logic, \u0442\u0443\u0442 \u0443\u0436\u0435 \u043e\u0442 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u0443 \u0442\u043e\u0433\u043e \u0436\u0435 Reading comprehension \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432.<\/p>\n<p>  <\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c 3 \u0442\u0438\u043f\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a:<\/p>\n<p>  <\/p>\n<ul>\n<li>\n<p><em>minimum functionality test<\/em> (\u043d\u0430\u0432\u0435\u044f\u043d\u043e \u044e\u043d\u0438\u0442-\u0442\u0435\u0441\u0442\u0430\u043c\u0438 \u0438\u0437 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438) \u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432\u044b\u0448\u0435 \u0441 \u0448\u0430\u0431\u043b\u043e\u043d\u0430\u043c\u0438 (&quot;I {negation} {pos_verb} the {thing}&quot;) \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u043d\u0438\u0435\u043c.<\/p>\n<p>  <\/li>\n<li>\n<p><em>Invariance test<\/em> \u2014 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0445 \u0443\u0440\u043b\u043e\u0432 \u0438 \u0442.\u0434.).<\/p>\n<p>  <\/li>\n<li>\n<p><em>Directional Expectation test<\/em> \u2014 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c, \u0447\u0442\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 &quot;You are lame&quot; \u0434\u043e\u043b\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0431\u043e\u043b\u0435\u0435 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u043c.<\/p>\n<p>  <\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u043a\u043e\u0441\u044f\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>\n<p>\u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0444\u044d\u0439\u043b\u043e\u0432 \u0431\u043b\u0438\u0437\u043e\u043a \u043a 100 \u0443 \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 c \u043e\u0442\u0440\u0438\u0446\u0430\u043d\u0438\u0435\u043c (\u201cI thought the plane would be awful, but it wasn\u2019t.\u201d);<\/p>\n<p>  <\/li>\n<li>\n<p>\u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u0448\u0430\u0431\u043b\u043e\u043d\u0430\u043c\u0438 &quot;I am a {PROTECTED} {NOUN}&quot;, \u0433\u0434\u0435 {PROTECTED} \u2014 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 [black, atheist, gay, lesbian, &#8230;]- \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u0443\u044e \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0444\u0440\u0430\u0437 \u0442\u0438\u043f\u0430 &quot;I am a lesbian woman&quot;. \u0414\u0440\u044e\u0447\u0430\u0442 \u0438\u0445, \u0433\u0438\u0433\u0430\u043d\u0442\u043e\u0432, \u043f\u043e fairness. BERT, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 &quot;negative&quot; \u0432 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u0435\u0441\u0442\u0430\u043c \u0444\u0430\u0438\u043d\u0442\u044e\u043d\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 SST \u043c\u043e\u0434\u0435\u043b\u0438 BERT &amp; RoBerta \u043f\u0440\u043e\u044f\u0432\u0438\u043b\u0438 \u0441\u0435\u0431\u044f \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0435.<\/p>\n<p>  <\/li>\n<\/ul>\n<p>  <\/p>\n<h3 id=\"3-thieves-on-sesame-street-model-extraction-of-bert-based-apis\">3. Thieves on Sesame Street! Model Extraction of BERT-based APIs<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Kalpesh Krishna, Gaurav Singh Tomar, Ankur P. Parikh, Nicolas Papernot, Mohit Iyyer (UMass &amp; Google Research, ICLR, 2019)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/1910.12366\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/google-research\/language\/tree\/master\/language\/bert_extraction\">GitHub project<\/a> :: <a href=\"http:\/\/www.cleverhans.io\/2020\/04\/06\/stealing-bert.html\">Blog<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u042e\u0440\u0438\u0439 \u041a\u0430\u0448\u043d\u0438\u0446\u043a\u0438\u0439 (\u0432 \u0441\u043b\u044d\u043a\u0435 yorko, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/yorko\/\">yorko<\/a>)<\/p>\n<p>  <\/p>\n<p><strong>TLDR<\/strong><br \/>  \u0417\u0430\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044f API \u0441 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0439 BERT-based \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0438\u0437 \u043f\u043e\u0447\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0441\u043b\u043e\u0432 (\u0441 \u043b\u0451\u0433\u043a\u0438\u043c\u0438 task-specific \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438), \u043c\u043e\u0436\u043d\u043e \u0443\u043a\u0440\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0442.\u0435. \u0432\u043e\u0441\u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a\u0443\u044e \u0436\u0435, \u043a\u0430\u043a \u0438 \u043c\u043e\u0434\u0435\u043b\u044c-\u0436\u0435\u0440\u0442\u0432\u0430. \u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u0445\u0443\u043b\u0438\u0433\u0430\u043d\u0441\u0442\u0432\u0430, \u043d\u043e \u0432 \u044d\u0442\u043e\u0439 \u0431\u043e\u0440\u044c\u0431\u0435 \u0431\u0440\u043e\u043d\u0438 \u0438 \u043f\u0443\u0448\u043a\u0438 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043f\u043e\u043a\u0430 \u043f\u0443\u0448\u043a\u0438.<\/p>\n<p>  <\/p>\n<p><strong>\u041a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442?<\/strong><br \/>  \u0425\u0430\u043a\u0435\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u0442 \u0441\u0432\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438-\u0436\u0435\u0440\u0442\u0432\u044b (\u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442, \u043a\u0441\u0442\u0430\u0442\u0438, sample-efficient knowledge distillation). \u0418 \u0447\u0442\u043e, \u0432\u0441\u0435 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u043e? \u041d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c, \u0434\u0430\u043b\u0435\u0435 \u0438\u0434\u0443\u0442 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0438. \u041d\u0430 \u0441\u043e\u0432\u0441\u0435\u043c \u0443\u0436 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u043d\u0435 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0430\u0432\u0442\u043e\u0440\u044b \u044d\u0442\u043e \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/1r\/hy\/q3\/1rhyq3lt0wyqy4hmgc1c5puts0g.png\"><\/p>\n<p>\u0414\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (SST2) \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u2014 \u0441\u043b\u043e\u0432\u0430 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0438\u0437 \u0442\u043e\u043f-10\u043a (\u043f\u043e \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u0438) wikitext103, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0442\u043e\u043f-10\u043a.<\/p>\n<p>  <\/p>\n<p>\u0412 MNLI (natural language inference), \u0432\u0445\u043e\u0434 \u2014 \u044d\u0442\u043e \u043f\u0430\u0440\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439: \u043f\u043e\u0441\u044b\u043b\u043a\u0430 \u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u0430\u043a \u043e\u043d\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b (entailment, contradiction, neutral). \u041f\u043e\u0441\u044b\u043b\u043a\u0430 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0434\u043b\u044f SST2, \u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0441\u044b\u043b\u043a\u0443, \u0438 3 \u0441\u043b\u043e\u0432\u0430 \u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0438\u0437 \u0432\u0441\u0435 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0442\u043e\u043f-10\u043a wikitext103.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f SQuAD (question answering) \u043f\u0430\u0440\u0430\u0433\u0440\u0430\u0444 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u043a \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u043e \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u043d\u0430\u043a \u2014 \u0432 \u043a\u043e\u043d\u0435\u0446. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041d\u0435 rocket science \u0432\u0440\u043e\u0434\u0435, \u043d\u043e \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0430 \u0431\u0435\u0437 \u043d\u0438\u0445 \u2014 \u043d\u0435\u0442.<\/p>\n<p>  <\/p>\n<p>\u0418\u0434\u0435\u0438 <strong>\u0434\u0432\u0443\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0437\u0430\u0449\u0438\u0442\u044b<\/strong>.<\/p>\n<p>  <\/p>\n<p><em>Membership classification<\/em> \u2014 \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432, \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0435 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. API \u0432\u0435\u0440\u043d\u0435\u0442 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430 \u0431\u044d\u043a\u0435\u043d\u0434\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 real-fake, \u043d\u043e \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0434\u0443\u0440\u0438\u0442\u044c, \u0442.\u043a. \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0444\u0435\u0439\u043a\u0430.<\/p>\n<p>  <\/p>\n<p><em>Watermarking<\/em> \u2014 \u0434\u043b\u044f \u0447\u0430\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0432\u044b\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0441\u043f\u0438\u0441\u043e\u043a \u0442\u0430\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 API. \u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0430\u0442\u0430\u043a\u0443\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445, \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043b\u0430 \u0438\u0445 \u0438 \u043f\u043e\u0442\u043e\u043c \u0431\u044b\u043b\u0430 \u0432\u044b\u043b\u043e\u0436\u0435\u043d\u0430 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f, \u0442\u043e \u043f\u043e \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0438\u043d\u0443\u0441 \u2014 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043b\u043e\u0436\u0435\u043d\u0430 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f. \u0414\u0430 \u0438 \u0442\u0430\u043a\u0443\u044e \u043b\u0435\u0433\u043a\u043e \u043e\u0431\u043e\u0439\u0442\u0438 \u2014 \u043d\u0430\u0434\u043e \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u0434\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0441 \u0443\u043a\u0440\u0430\u0434\u0435\u043d\u043d\u044b\u043c\u0438, \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0448\u0443\u043c.<\/p>\n<p>  <\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 <strong>\u0432\u044b\u0432\u043e\u0434\u044b<\/strong>:<\/p>\n<p>  <\/p>\n<ul>\n<li>\n<p>\u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 4 NLP \u0437\u0430\u0434\u0430\u0447\u0438 (sentiment analysis: SST2, natural language inference: MNLI, question answering: SQuAD 1.1. + BoolQ), \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e adversarial \u0430\u0442\u0430\u043a\u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 10% \u0434\u043e 2% \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u0445\u0443\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u0438-\u0436\u0435\u0440\u0442\u0432\u044b;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0446\u0435\u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0430\u0442\u0430\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u043b\u0430 $400 \u0432 \u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 (\u0434\u043b\u044f BoolQ \u2014 \u0432\u0441\u0435\u0433\u043e $6);<\/p>\n<p>  <\/li>\n<li>\n<p>\u0430\u0442\u0430\u043a\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b \u0438 \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442.\u0435. \u0445\u043e\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u0443\u0442\u0430\u0449\u0438\u0442\u044c \u0434\u0430\u0436\u0435 \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (1\u043a-10\u043a), \u0430 \u0441 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0432\u0438\u0434\u043d\u043e \u043d\u0430\u0441\u044b\u0449\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0430\u0442\u0430\u043a\u0443\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0435\u0441\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0436\u0435\u0440\u0442\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439-\u0436\u0435\u0440\u0442\u0432, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u0438\u0434\u0430\u043c\u0438), \u0442\u043e \u0430\u0442\u0430\u043a\u0430 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u0438 \u043f\u0430\u0440\u0430\u0433\u0440\u0430\u0444\u044b \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0442 \u0430\u0442\u0430\u043a\u0443 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u043c\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438, \u043d\u043e \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0435\u0441\u043b\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 API \u0432\u044b\u0434\u0430\u0435\u0442 \u043d\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441, \u0430\u0442\u0430\u043a\u0430 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430, \u043f\u0440\u0438\u0447\u0451\u043c \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a \u0436\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0435\u0441\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0430\u0442\u0430\u043a\u0443\u044e\u0449\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0436\u0438\u0440\u043d\u0435\u0435, \u0442\u043e \u0430\u0442\u0430\u043a\u0430 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0436\u0435\u0440\u0442\u0432\u044b. e.g. \u0435\u0441\u043b\u0438 \u0437\u0430 API \u2014 BERT-base, \u0442\u043e \u0430\u0442\u0430\u043a\u043e\u0432\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0441 BERT-large, \u0447\u0435\u043c BERT-base. \u0418 \u0434\u0430\u043b\u0435\u0435, \u0435\u0441\u043b\u0438 \u0432\u0437\u044f\u0442\u044c XLNet, \u0442\u043e \u0430\u0442\u0430\u043a\u0430 \u0435\u0449\u0451 \u043b\u0443\u0447\u0448\u0435;<\/p>\n<p>  <\/li>\n<li>\n<p>\u0442\u0440\u0430\u043d\u0441\u0444\u0435\u0440 \u043b\u0435\u0440\u043d\u0438\u043d\u0433 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u043d (\u0442\u043e \u0447\u0442\u043e \u0430\u0442\u0430\u043a\u0443\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 BERT \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u0443\u0436\u0435 \u0432\u0438\u0434\u0435\u043b\u0438 \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445) \u2014 \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438-\u0436\u0435\u0440\u0442\u0432\u044b \u0441 \u043d\u0443\u043b\u044f (\u0431\u0435\u0437 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0442.\u0435. \u0441 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u0430\u0442\u0430\u043a\u0443\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438) \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<p>  <\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0430\u044f, \u043a\u0430\u043a \u043c\u0430\u043b\u043e \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u043f\u0440\u043e \u044d\u0442\u0438 \u0431\u043b\u044d\u043a-\u0431\u043e\u043a\u0441\u044b, \u043a\u0430\u043a\u0430\u044f \u044d\u0442\u043e \u043f\u043e\u043a\u0430 leaky abstraction \u0438 \u043a\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0435\u0449\u0451 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439 \u043f\u0440\u0438\u0434\u0435\u0442 \u0438\u0437 \u043c\u0438\u0440\u0430 adversarial \u0430\u0442\u0430\u043a \u0438, \u0448\u0438\u0440\u0435, \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 ML.<\/p>\n<p>  <\/p>\n<h3 id=\"4-time-aware-user-embeddings-as-a-service\">4. Time-Aware User Embeddings as a Service<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Martin Pavlovski et.al. (Yahoo! Research, Temple University, 2020)<br \/>  <a href=\"https:\/\/dabi.temple.edu\/external\/zoran\/papers\/mpavlovski-camera-ready.pdf\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0414\u0435\u043d\u0438\u0441 \u0412\u043e\u0440\u043e\u0442\u044b\u043d\u0446\u0435\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 tEarth, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/tEarth\/\">tEarth<\/a>)<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u043e\u0432 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u044e\u0437\u0435\u0440\u0430 \u0432 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f (ctr prediction, click-through rate). \u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0447\u0435\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0440\u0430\u043d\u0435\u0435. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438 \u0432 embeddings-as-service \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 (\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0438 \u0434\u043b\u044f \u0432\u043d\u0435\u0448\u043d\u0438\u0445) \u0441\u0442\u0435\u0439\u043a\u0445\u043e\u043b\u0434\u0435\u0440\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 ctr predictions. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0435\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u0431 \u0435\u0433\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u0435\u0442\u0438 \u0438 \u0432\u0440\u0435\u043c\u044f \u044d\u0442\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438. \u0410\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u044e\u0437\u0435\u0440\u0430 \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439: \u0442\u044b\u0441\u044f\u0447\u0438 \u0438 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u201c\u043a\u0430\u043a \u0435\u0441\u0442\u044c\u201d \u043b\u0438\u0431\u043e \u043d\u0443\u0436\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0438\u0447\u0438 \u0440\u0443\u043a\u0430\u043c\u0438, \u0447\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432\u0432\u0438\u0434\u0443 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438; \u043b\u0438\u0431\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043d\u043e \u0442\u0443\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u0441\u044f \u043a\u0440\u0430\u0439\u043d\u0435 \u0436\u0438\u0440\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 (1) \u0442\u044f\u0436\u0435\u043b\u043e \u0438 \u0434\u043e\u043b\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c (2) \u043d\u0435 \u0444\u0430\u043a\u0442 \u0447\u0442\u043e \u043f\u0440\u043e\u0439\u0434\u0443\u0442 \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. <\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e\u0432\u0441\u0435, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u043c\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0444\u0438\u0447\u0438 (\u043f\u043e\u043b, \u0432\u043e\u0437\u0440\u0430\u0441\u0442 \u0438 \u0442.\u043f.), \u043f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u0430\u0431\u044b\u043c\u0438. \u0412\u044b\u0445\u043e\u0434: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u0438\u043d\u043f\u0443\u0442 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e. \u0418\u043d\u043f\u0443\u0442 \u2014 sequence \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 a1, a2, \u2026 aL, aL+1 \u0441 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u044d\u0442\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f t1, t2, \u2026 tL, tL+1 (L \u2014 \u0434\u043b\u0438\u043d\u0430 sequence, aL+1 \u2014 EOS \u0442\u043e\u043a\u0435\u043d).<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/t9\/mv\/-n\/t9mv-njx4t5owtxaiatzt46uvcu.png\">  <\/p>\n<p>\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u2014 \u044d\u0442\u043e, \u043a\u0430\u043a \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u043a\u0438\u043b\u043b\u0435\u0440-\u0444\u0438\u0447\u0430 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b. \u0412\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u2014 aj -&gt; vj (\u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 \u0441\u043b\u043e\u0439, \u0432\u0441\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e). \u0417\u0430\u0442\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f stop feature \u2014 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \/ \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u0435\u043a\u0432\u0435\u043d\u0441\u0435 \u2014 \u03c4j = tj \/ tL+1. \u0417\u0430\u0442\u0435\u043c \u043a\u0430\u0436\u0434\u0430\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u043f\u0438\u0442\u0441\u044f \u0432 latent space (\u03b8j \u0438 \u00b5j). \u03b8j \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0441\u0435\u043a\u0432\u0435\u043d\u0441 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433, \u0430 \u00b5j \u0438 \u03c4j \u2014 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0441\u0435\u043a\u0432\u0435\u043d\u0441 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433. \u0421\u0447\u0438\u0442\u0430\u0435\u043c temporal score \u2014 \u03b4j = \u03c3(\u03b8j + \u00b5j\u03c4j) (\u0433\u0434\u0435 \u03c3 \u2014 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0430), \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0442\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u043c\u043d\u043e\u0436\u0435\u043d \u0441\u0435\u043a\u0432\u0435\u043d\u0441 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 \u2014 v_hatj = \u03b4j*vj. v_hatj \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0441\u043b\u043e\u0439.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043e\u0442 \u0430\u0432\u0442\u043e\u0440\u0430 \u043e\u0431\u0437\u043e\u0440\u0430: \u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043f\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433: \u043a\u043e\u043d\u043a\u0430\u0442 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c, \u043a\u043e\u043d\u043a\u0430\u0442 \u0441 sin\/cos \u0432\u0440\u0435\u043c\u0435\u043d\u0438, positional embeddings \u0438 \u0442.\u043f. \u041d\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445, \u0438 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0441\u0442\u044c\u044e t, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 tn, tn+1 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u043d\u043e \u0437\u0430\u0447\u0435\u043c \u0442\u043e\u0433\u0434\u0430 \u043f\u0438\u0445\u0430\u0442\u044c \u0441\u044e\u0434\u0430 a_n \u0435\u0449\u0435 \u0440\u0430\u0437.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u0438\u0434\u0435\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 lstm \u0441\u043b\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0438\u043d\u043f\u0443\u0442 \u0441\u0435\u043a\u0432\u0435\u043d\u0441 \u0432 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 h (\u044d\u0442\u043e\u0442 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 \u0438 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u0446\u0435\u043b\u0435\u0432\u043e\u0439), \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0435\u043a\u0432\u0435\u043d\u0441 (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f seq2seq lstm \u043c\u043e\u0434\u0435\u043b\u044c). \u0417\u0430\u0442\u0435\u043c \u0438\u0434\u0435\u0442 full connected layer \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0441\u0432\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043c\u0438: fully-connected AE, seq2seq (lstm), time-aware seq2seq, ISA. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u0443\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c (\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u0440\u0438\u043a, \u0434\u0432\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430).<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/im\/c2\/mx\/imc2mxqustxdn3fs3xmadcrzc7m.png\" width=\"500\" height=\"300\"><\/p>\n<p>\u041f\u043b\u044e\u0441 \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0441\u043a\u043e\u0440\u044b \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u201c\u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 + LR (Logistic Regression) \u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443\u201d \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0441\u044b\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438: LR, attention RNN (attRNN), xgboost. \u0410\u0432\u0442\u043e\u0440\u044b \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0441\u043e\u043e\u0431\u0449\u0430\u0442\u044c \u0441\u043a\u043e\u0440\u044b \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445, \u0442\u0430\u043a \u0447\u0442\u043e \u043e\u043d\u0438 \u043f\u0440\u0438\u0432\u0435\u043b\u0438 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u043c (LR \u043d\u0430 \u0434\u0435\u043c\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u0438\u0447\u0430\u0445). \u0418\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b 4 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433 + LR \u0441\u0440\u0430\u0432\u043d\u044f\u043b\u0441\u044f \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0441 attRNN, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0434\u043e\u043b\u044c\u0448\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/bn\/u7\/cx\/bnu7cxsqnikcz7bjfhhwoqv0rs0.png\"><\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043f\u0440\u043e \u043f\u043e\u0434\u0445\u043e\u0434 embedding as service.<\/p>\n<p>  <\/p>\n<h3 id=\"5-are-labels-necessary-for-neural-architecture-search\">5. Are Labels Necessary for Neural Architecture Search?<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Chenxi Liu, Piotr Doll\u00e1r, Kaiming He, Ross Girshick, Alan Yuille, Saining Xie (Johns Hopkins University, Facebook AI Research, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2003.12056\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/facebookresearch\/unnas\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0414\u0435\u043d\u0438\u0441 \u0412\u043e\u0440\u043e\u0442\u044b\u043d\u0446\u0435\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 tEarth, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/tEarth\/\">tEarth<\/a>)<\/p>\n<p>  <\/p>\n<p>\u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043d\u0435 \u043e\u0441\u043e\u0431\u043e.<\/p>\n<p>  <\/p>\n<p>Neural architecture search (NAS) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0439\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u041f\u043e \u0441\u0443\u0442\u0438, NAS \u2014 \u044d\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0435\u0442\u0438, \u0433\u0434\u0435 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432, \u0438\u0445 \u0442\u0438\u043f, \u0434\u0440\u043e\u043f\u0430\u0443\u0442\u044b, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0432 \u0441\u043b\u043e\u0435 \u0438 \u0442.\u043f.) \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (\u0437\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u0435\u0435 \u2014 accuracy); \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e -&gt; max. NAS \u2014 supervised \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0442\u0430\u0440\u0433\u0435\u0442\u044b \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443.<\/p>\n<p>  <\/p>\n<p>\u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u044d\u0442\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0435\u0441\u043b\u0438 \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0430\u043b\u043e \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b (<a href=\"https:\/\/arxiv.org\/abs\/1707.07012\">Learning transferable architectures for scalable image recognition, CVPR<\/a>) \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0432\u044b\u0445\u043e\u0434: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0442\u0430\u0441\u043a\u0435, \u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c. \u0422\u0430\u043a, \u043d\u0430\u0439\u0434\u044f \u0441\u0435\u0442\u044c \u043d\u0430 cifar, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0435 \u043a Imagenet.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vb\/df\/_g\/vbdf_g3ccpg5qq9ixcogw-6axzg.png\"><\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u0439\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0442\u043a\u0430\u0436\u0435\u043c\u0441\u044f \u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043b\u0435\u0439\u0431\u043b\u043e\u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0435\u043c \u0441\u0432\u043e\u0438. \u041f\u043e \u0441\u0443\u0442\u0438, \u043d\u0430\u043c \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043a\u0430\u043a\u0438\u0435 \u0432\u0435\u0441\u0430 \u0432\u044b\u0443\u0447\u0438\u0442 \u0441\u0435\u0442\u044c, \u043d\u0430\u043c \u0432\u0430\u0436\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u0441\u043e\u043a (\u043f\u0440\u043e\u043a\u0441\u0438-\u0437\u0430\u0434\u0430\u0447\u0438) \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u043b\u0435\u0439\u0431\u043b\u043e\u0432: Rotation prediction (\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f, \u043d\u0430 \u043a\u0430\u043a\u043e\u0439 \u0443\u0433\u043e\u043b \u043f\u043e\u0432\u0435\u0440\u043d\u0443\u043b\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443), Colorization (pixel-wise classification: gray imgs -&gt; colored imgs), Solving jigsaw puzzles (\u0434\u0435\u043b\u0438\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u043d\u0430 \u043f\u0430\u0437\u043b, \u043c\u0435\u0448\u0430\u0435\u043c, \u0441\u0435\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u0438\u043a\u043d\u0443\u0442\u044c \u043a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0430\u043b\u0438). \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 500 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 NAS \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043f\u043e\u0438\u0441\u043a\u0430 \u2014 DARTS \u0438 NAS-Bench-101. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 NAS \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u043f\u0440\u043e\u043a\u0441\u0438-\u0437\u0430\u0434\u0430\u0447\u0443 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 (\u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0441 \u0442\u0430\u0440\u0433\u0435\u0442\u0430\u043c\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438), \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0440\u0430\u043d\u0433\u043e\u0432\u0443\u044e \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u0430\u044f (\u0441\u043c. \u0432\u044b\u0448\u0435), \u0442\u043e\u043f\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u0440\u043e\u043a\u0441\u0438-\u0437\u0430\u0434\u0430\u0447\u0435 \u0447\u0430\u0441\u0442\u043e \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u043e\u043f\u043e\u0432\u044b\u043c\u0438 \u0438 \u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435.<\/p>\n<p>  <\/p>\n<p>\u0414\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u0430\u044f, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0438\u0434\u0435\u044f. \u0414\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u0430\u043a \u043c\u043d\u0435 \u0432\u0438\u0434\u0438\u0442\u0441\u044f, \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0438\u043b\u043b\u0435\u0440 \u0444\u0438\u0447\u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u043c\u0430\u043b\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043b\u0435\u0439\u0431\u043b\u043e\u0432, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<h3 id=\"6-gshard-scaling-giant-models-with-conditional-computation-and-automatic-sharding\">6. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, Zhifeng Chen (Google, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2006.16668\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u0440\u0442\u0435\u043c \u0420\u043e\u0434\u0438\u0447\u0435\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 fuckai)<\/p>\n<p>  <\/p>\n<p><strong>TL;DR<\/strong><\/p>\n<p>  <\/p>\n<ol>\n<li>\u0421\u0434\u0435\u043b\u0430\u043b\u0438 \u043c\u043e\u0434\u0443\u043b\u044c GShard, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043a\u0435\u0439\u043b\u0438\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c(TPU\/GPU).<\/li>\n<li>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e GShard \u043e\u0442\u0441\u043a\u0435\u0439\u043b\u0438\u043b\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 Mixture-of-Experts. \u041d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440-\u0441\u043b\u043e\u0435\u0432 \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 multilingual machine translation \u043d\u0430 100 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u0445. \u0421\u0430\u043c\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043d\u0430 600B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 4 \u0434\u043d\u044f \u043d\u0430 2048TPU v3.<\/li>\n<li>\u041f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0447\u0442\u043e \u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u043a\u0435\u0439\u043b\u0438\u043d\u0433\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u2014 \u043d\u0438\u0437\u043a\u0438\u0439 communication cost \u043c\u0435\u0436\u0434\u0443 \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c\u0438, \u0430 training cost \u0440\u0430\u0441\u0442\u0435\u0442 \u0441\u0443\u0431\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u043e\u0441\u0442\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.<\/li>\n<\/ol>\n<p>  <\/p>\n<p><strong>\u0421\u0443\u0442\u044c<\/strong><br \/>  \u0421\u0442\u0430\u043b\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f SOTA \u043d\u0443\u0436\u043d\u043e \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0441\u0435\u0442\u0438. \u041e\u043d\u0438 \u043b\u0443\u0447\u0448\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 sample efficient, \u0447\u0435\u043c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u0442 \u0443\u0434\u043e\u0431\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0441\u043a\u0435\u0439\u043b\u0438\u043d\u0433\u0430 \u0441\u0435\u0442\u0435\u0439. \u0418\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438 model parallelism \u0432 pytorch \u0438\u043b\u0438 tf \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u2014 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444, \u0432\u0435\u0434\u0435\u0442 \u043a \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u043c \u0440\u0430\u0441\u0445\u043e\u0434\u0430\u043c \u043d\u0430 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 sequential dependency \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u043a\u0435\u0439\u043b\u0438\u043d\u0433 \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0435\u0439 \u0438 \u0440\u0443\u0447\u043d\u044b\u043c \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u043f\u043e \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c. \u0412\u0441\u0435 \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u043e, \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0441\u0435\u0442\u0438 \u0443\u0434\u043e\u0431\u043d\u043e \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0433\u0443\u0433\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a GShard, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li>\n<p>\u041b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u043e\u0435 API c 3 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>replicate(tensor) \u2014 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c (\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c) \u0432\u0435\u0441\u0430 \u043d\u0430 \u0432\u0441\u0435 \u0434\u0435\u0432\u0430\u0439\u0441\u044b (TPU\/GPU);<\/li>\n<li>split(tensor, split_dimension, num_partitions) \u2014 \u0434\u0435\u043b\u0438\u0442 \u0442\u0435\u043d\u0437\u043e\u0440 \u043d\u0430 num_partitions \u043f\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 split_dimension \u0438 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u0434\u0435\u0432\u0430\u0439\u0441;<\/li>\n<li>shard(tensor, device_assignment) \u2014 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 split(), \u043d\u0430 \u043a\u0430\u043a\u0438\u0435 \u0434\u0435\u0432\u0430\u0439\u0441\u044b \u043d\u0443\u0436\u043d\u043e \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043d\u0437\u043e\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/li>\n<\/ul>\n<p>  <\/li>\n<li>\n<p>\u041a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442 \u0435\u0434\u0438\u043d\u044b\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0434\u0435\u0432\u0430\u0439\u0441\u043e\u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u0438 \u0440\u0430\u0441\u0441\u044b\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u043d\u0430 \u0432\u0441\u0435 \u0434\u0435\u0432\u0430\u0439\u0441\u044b. \u041a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043f\u043e \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u0435 SPMD (Single Program Multiple Data), \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u043c, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0435\u0432\u0430\u0439\u0441\u043e\u0432.<\/p>\n<p>  <\/li>\n<\/ol>\n<p>  <\/p>\n<p>\u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 GShard \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0437\u0432\u0430\u043b\u0438 Sparsely-Gated Mixture-of-Experts Transformer. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0433\u043a\u0430 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. \u041e\u0431\u044b\u0447\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0431\u043b\u043e\u043a (\u0441\u043b\u043e\u0439) \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0431\u0443\u0442\u0435\u0440\u0431\u0440\u043e\u0434\u0430 [\u0432\u0445\u043e\u0434 -&gt; \u043c\u0443\u043b\u044c\u0442\u0438\u0445\u044d\u0434-\u0430\u0442\u0442\u0435\u043d\u0448\u043d -&gt; \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f -&gt; FNN -&gt; \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f -&gt; \u0432\u044b\u0445\u043e\u0434] + \u0434\u0432\u0430 res \u043a\u043e\u043d\u043d\u0435\u043a\u0448\u0435\u043d\u0430 (\u0441\u043c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443). \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0445 N \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u043e\u0435\u0432. \u0414\u043b\u044f \u0441\u043a\u0435\u0439\u043b\u0438\u043d\u0433\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043d\u0435\u0447\u0435\u0442\u043d\u043e\u043c \u0441\u043b\u043e\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c Mixture-of-Experts \u0432\u043c\u0435\u0441\u0442\u043e FNN. Mixture-of-Experts \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f E \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0445 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u044b\u0445 FNN \u0441\u0435\u0442\u0435\u0439 + gating \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0435\u0448\u0430\u0435\u0442, \u043a\u0430\u043a\u043e\u043c\u0443 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043c\u044b \u043f\u0435\u0440\u0435\u0434\u0430\u0434\u0438\u043c \u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d. \u0410\u0443\u0442\u043f\u0443\u0442 \u0441 \u044d\u0442\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u0432\u0441\u0435\u0445 FNN, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u0435\u0441\u0430.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wb\/vy\/7t\/wbvy7ta9tp6jlq_3epq11jgp_lq.png\"><\/p>\n<p>Gating \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043e\u0444\u0442\u043c\u0430\u043a\u0441\u043e\u043c \u043d\u0430\u0434 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0433\u0434\u0435 i-\u044b\u0439 \u0430\u0443\u0442\u043f\u0443\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c\/\u0432\u0435\u0441 i-\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430. \u0425\u043e\u0447\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043b \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043c\u0435\u0436\u0434\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0445\u0430\u043a\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043c capacity \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u043a\u0430\u043a O(N\/E), \u0433\u0434\u0435 N \u2014 \u043a\u043e\u043b-\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0431\u0430\u0442\u0447\u0435, E \u2014 \u043a\u043e\u043b-\u0432\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0412\u0432\u0435\u0434\u0435\u043c \u043a\u0430\u0443\u043d\u0442\u0435\u0440, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u043c, \u0438 \u0435\u0441\u043b\u0438 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u043b\u0438 \u0435\u0433\u043e capacity, \u0442\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u044d\u0442\u0438\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u043c \u0434\u043b\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.<\/li>\n<li>\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a NLL \u043b\u043e\u0441\u0441\u0443 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 Auxiliary loss \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0434\u043e\u043b\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430. \u042d\u0442\u043e \u0444\u043e\u0440\u0441\u0438\u0442 \u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445 \u0436\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0432\u0441\u0435\u043c\u0438.<\/li>\n<li>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u0432\u0443\u043c\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0444\u0442\u043c\u0430\u043a\u0441\u0430 \u0432 \u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0442\u043e\u0440\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442 \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0432\u0435\u0441 \u0438 \u0442\u043e\u0433\u0434\u0430 \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0430\u0443\u0442\u043f\u0443\u0442. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0435 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0435\u0433\u043e \u0432\u0435\u0441\u0443.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u043a\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0432\u0443\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0433\u0435\u0439\u0442\u0438\u043d\u0433-\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430. \u041f\u043e \u0441\u0443\u0442\u0438 \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0435\u0434\u0438\u043d\u0443\u044e \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u043e\u0432 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0434\u0441\u0435\u0442\u044c\/\u043f\u043e\u0434\u0441\u0435\u0442\u0438 \u0438 \u0442\u0440\u0430\u0442\u0438\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0431\u0435\u0437 MoE.<\/p>\n<p>  <\/p>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><br \/>  \u0414\u043b\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0443 multilingual machine translation \u043d\u0430 100 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u0445, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u041d\u0410 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439. \u042f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u044b \u0435\u0441\u0442\u044c \u043a\u0430\u043a low-resource \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442\u0430\u043a \u0438 high-resource \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b \u0441\u044d\u043c\u043f\u043b\u043e\u0432. \u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0442\u0440\u0435\u0439\u043d\u0441\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 13B \u0441\u044d\u043c\u043b\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u0435\u0442\u0435\u0439 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 multilingual \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0430 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430:<\/p>\n<p>  <\/p>\n<ol>\n<li>Low-resource \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u044b \u0431\u0435\u043d\u0435\u0444\u0438\u0442\u044f\u0442 \u0438\u0437-\u0437\u0430 positive transfer. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u0445 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u0448\u0430\u0440\u0438\u043d\u0433\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0435\u0442\u0438 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 high-resource \u044f\u0437\u044b\u043a\u0430\u043c\u0438.<\/li>\n<li>High-resource \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u044b \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u044e\u0442 \u0438\u0437-\u0437\u0430 capacity bottleneck. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u0445 \u0443\u0445\u0443\u0434\u0448\u0430\u0435\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u043f\u043e\u0434\u043c\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u041c\u043e\u0434\u0435\u043b\u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0445\u0432\u0430\u0442\u0430\u0442\u044c capacity, \u0447\u0442\u043e\u0431\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. <\/li>\n<\/ol>\n<p>  <\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u043d\u0430\u043c \u043d\u0430 \u0440\u0443\u043a\u0443, \u0430 \u0432\u0442\u043e\u0440\u043e\u0435 MoE Transformer \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u0435\u043c, \u0447\u0442\u043e \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 capacity.<\/p>\n<p>  <\/p>\n<p>\u0412\u044b\u0443\u0447\u0438\u043b\u0438 6 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432(12 \u0438\u043b\u0438 36) \u0438 \u043a\u043e\u043b-\u0432\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432(128, 512, 2048). \u0421\u0430\u043c\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 36 \u0441\u043b\u043e\u0435\u0432 \u0438 2048 \u0438\u043c\u0435\u0435\u0442 600B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 fp32 \u0434\u043b\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0440\u0435\u0439\u043d\u0430. \u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 1T \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 c bfloat16, \u043d\u043e \u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0438\u0437-\u0437\u0430 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041a\u0430\u0436\u0434\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u043b\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412\u0441\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 1T (10^12).<\/p>\n<p>  <\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430 \u0432\u0437\u044f\u043b\u0438 100 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e 400\u041c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043f\u0430\u0440\u0435. \u0412\u0442\u043e\u0440\u043e\u0439 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u2014 96 \u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0431\u0435\u0437 MoE \u043d\u0430 2.3B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0435\u0433\u043e \u0443\u0447\u0438\u043b\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0432\u0441\u0435\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u0445, \u043f\u0440\u0438\u0447\u0435\u043c \u0443\u0447\u0438\u043b\u0438 40 \u0434\u043d\u0435\u0439 \u043d\u0430 2048 TPU (235 TPU \u043b\u0435\u0442).<\/p>\n<p>  <\/p>\n<p>\u041f\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0435\u0434\u0435\u0442 \u043a \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u043c\u0443 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u0430\u043a \u0434\u043b\u044f low-resource, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f high-resource \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043f\u0430\u0440. \u0422\u0430\u043a\u0436\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043f\u0440\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u043b\u043e\u0435\u0432 \u0442\u043e\u0436\u0435 \u0431\u0443\u0441\u0442\u0438\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f high-resource \u044f\u0437\u044b\u043a\u0430\u0445 \u0438\u0437-\u0437\u0430 \u0440\u0430\u0441\u0441\u043b\u0430\u0431\u043b\u0435\u043d\u0438\u044f capacity bottleneck. <\/p>\n<p>  <\/p>\n<p>\u0415\u0449\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 sample efficient, \u0447\u0435\u043c \u043d\u0435\u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043f\u0440\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043b\u0443\u0447\u0448\u0435\u0439 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 (\u043c\u043e\u0434\u0435\u043b\u044c \u0441 512 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u0441\u043e\u0448\u043b\u0430\u0441\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435\/\u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 2048 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438)<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jj\/k8\/xt\/jjk8xta2op37yrggcl2oalq-pec.png\" width=\"600\" height=\"600\"><\/p>\n<h3 id=\"7-data-shapley-equitable-valuation-of-data-for-machine-learning\">7. Data Shapley: Equitable Valuation of Data for Machine Learning<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Amirata Ghorbani, James Zou (USA, 2019)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/1904.02868\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/amiratag\/DataShapley\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0414\u0435\u043d\u0438\u0441 \u0412\u043e\u0440\u043e\u0442\u044b\u043d\u0446\u0435\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 tEarth, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/tEarth\/\">tEarth<\/a>)<\/p>\n<p>  <\/p>\n<p>SHAP \u043a\u0430\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0438\u0441\u043a\u0430 \u0432\u0430\u0436\u043d\u044b\u0445 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439 \u2014 \u044d\u0442\u043e, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0441\u043e\u0442\u0430 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043c\u043b. \u041f\u043e\u0434\u0445\u043e\u0434 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 Shapley values, \u0438\u0434\u0435\u044f \u0432\u0437\u044f\u0442\u0430 \u0438\u0437 \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u0433\u0440. \u041a\u0430\u0436\u0434\u0430\u044f \u0444\u0438\u0447\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0438\u0433\u0440\u043e\u043a \u0432 \u043a\u043e\u0430\u043b\u0438\u0446\u0438\u0438, \u0446\u0435\u043b\u044c \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u2014 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043a\u043e\u0440\u0430. Shapley value \u0444\u0438\u0447\u0438 \u043f\u0440\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u2014 \u044d\u0442\u043e \u0432\u043a\u043b\u0430\u0434 \u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u0438\u0447\u0438 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0435\u0434\u0438\u043a\u0442 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u043c. \u0413\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0444\u0438\u0447\u0438 \u2014 \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 shapley values \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u2014 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c shapley values \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u2014 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0437\u0430\u0434\u0430\u043b\u0438\u0441\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c: \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c shapley values \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435? \u0418\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0448\u0443\u043c \u0432 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0445\u0443\u0434\u0448\u0430\u0442\u044c \u0441\u043a\u043e\u0440 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043d\u0430\u0439\u0434\u0435\u043c \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043a\u043e\u0440 \u0438 \u0443\u0434\u0430\u043b\u0438\u043c \u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0445\u0443\u0434\u0448\u0430\u044e\u0442 \u0441\u043a\u043e\u0440.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0434\u043b\u044f \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0432\u043a\u043b\u0430\u0434\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c n! \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 (n \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u201c\u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u201d \u2014 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043a\u043e\u0440), \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 (TMC-Shapley algorithm):<\/p>\n<p>  <\/p>\n<ol>\n<li>\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u2014 idx.<\/li>\n<li>\u041f\u0440\u043e\u0445\u043e\u0434\u0438\u043c \u043f\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c j = 1 \u0434\u043e idx: \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 (\u0441\u044d\u043c\u043f\u043b\u044b \u043e\u0442 1 \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430 j), \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u044d\u043c\u043b\u0435, \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043b\u043e\u0441\u0441. \u0412\u043a\u043b\u0430\u0434 j \u043f\u0440\u0438\u043c\u0435\u0440\u0430 = \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043b\u043e\u0441\u0441 \u043c\u0438\u043d\u0443\u0441 \u043b\u043e\u0441\u0441 \u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438.<\/li>\n<li>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u043f\u0443\u043d\u043a\u0442\u044b 1-2 \u0434\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 (\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u2014 \u043f\u0440\u0438\u0440\u0430\u0449\u0435\u043d\u0438\u0435 shapley values \u043c\u0435\u043d\u044c\u0448\u0435 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b), \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 shapley value \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u2014 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0432\u0441\u0435\u043c \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u043c. <\/li>\n<\/ol>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 G-Shapley algorithm, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u0435\u0442\u0435\u0439. \u041e\u0442\u043b\u0438\u0447\u0438\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 TMC-Shapley algorithm \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043d\u0443\u043b\u044f, \u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c bs=1 \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043b\u043e\u0441\u0441\u0430.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434 \u0431\u044b\u043b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u0434\u0432\u0443\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445: <em>&quot;In this experiment, we use the UK Biobank data set (Sudlow et al., 2015); the task is predicting whether an individual will be diagnosed with Malignant neoplasm of breast and skin (ICD10 codes C50 and C44, binary classification) using 285 features. Balanced binary data sets for each task are created and we use 1000 individuals for the task of training. Logistic regression yields a test accuracy of 68.7% and 56.4% for breast and skin cancer prediction, respectively. Performance is computed as the accuracy of trained model on 1000 separate patients.&quot;<\/em><\/p>\n<p>  <\/p>\n<p>\u041d\u0430 \u0434\u0432\u0443\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u043e\u0448\u0435\u043b\u0441\u044f \u0437\u0430 2\u043a \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u0447\u0442\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0447\u0435\u043c 1000! \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 (\u0432 \u0442\u0440\u0435\u0439\u043d\u0435 \u0431\u044b\u043b\u043e 1k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432), \u043d\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u0434\u043e \u0438\u0434\u0435\u0430\u043b\u0430: <em>&quot;For all the experiments, calculating data Shapley values took less than 24 hours on four machines running in parallel (each with 4 cpus) except for one of the experiments where the model is a Conv-Net for which 4 GPUs were utilized in parallel for 120 hours.&quot;<\/em><\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/9g\/ux\/xw\/9guxxwwnz3z6dtcvqboyhvhaq_g.png\"><\/p>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u0441 leave-one-out \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c. \u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u0442 loo, \u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432 2\u043a \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u0440\u0430\u0441\u0447\u0435\u0442. \u0410\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u0438\u0441\u043a\u0430 \u0448\u0443\u043c\u0430 \u0432 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435, \u0433\u0434\u0435 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u044b \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 loo. \u0412\u043f\u0440\u043e\u0447\u0435\u043c, loo \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u043e\u0442\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p>  <\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u044b \u043c\u0435\u0442\u0440\u0438\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043e\u0447\u0435\u043d\u044c \u0441\u043e\u0447\u043d\u044b\u043c\u0438, \u043f\u043e\u0434\u0445\u043e\u0434 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u0438\u043b\u0438 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0441 \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u043e\u0439 \u0434\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>  <\/p>\n<h3 id=\"8-language-agnostic-bert-sentence-embedding\">8. Language-agnostic BERT Sentence Embedding<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, Wei Wang (Google AI, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2007.01852\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/tfhub.dev\/google\/LaBSE\/1\">GitHub project<\/a> :: <a href=\"https:\/\/ai.googleblog.com\/2020\/08\/language-agnostic-bert-sentence.html\">Blog<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0410\u043d\u0434\u0440\u0435\u0439 \u041b\u0443\u043a\u044c\u044f\u043d\u0435\u043d\u043a\u043e (\u0432 \u0441\u043b\u044d\u043a\u0435 artgor, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/Artgor\/\">artgor<\/a>)<\/p>\n<p>  <\/p>\n<p>\u041e\u0447\u0435\u0440\u0435\u0434\u043d\u0430\u044f SOTA \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0442 Google. \u041e\u043d\u0438 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0439 BERT \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 \u0434\u043b\u044f 109 languages (\u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e)! SOTA \u043d\u0430 Tatoeba, BUCC \u0438 UN.<\/p>\n<p>  <\/p>\n<p><strong>\u041e\u0431\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434<\/strong><br \/>  \u041e\u0431\u044b\u0447\u043d\u043e MLM (masked language mode) \u043d\u0435 \u0434\u0430\u044e\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u2014 \u0438\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u044e\u043d\u0438\u0442\u044c \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u0410 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 MLM \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d.<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a \u0447\u0442\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0441\u043e\u0431\u0440\u0430\u0432 \u043a\u0443\u0447\u0443 \u0438\u0434\u0435\u0439: MLM + TLM (translation language model). <\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438, \u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 dual-encoder \u0441 additive margin softmax loss. \u0414\u0432\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0443 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043f\u043e\u0448\u0430\u0440\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u0433\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0431\u0435\u0440\u0443\u0442 \u0442\u043e\u043a\u0435\u043d \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043b\u043e\u044f. \u0421\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043f\u043e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438. \u0412 \u0438\u0442\u043e\u0433\u0435 SOTA, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043d\u0430 \u044f\u0437\u044b\u043a\u0430\u0445 \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<p><strong>\u0414\u0430\u043d\u043d\u044b\u0435<\/strong><br \/>  \u0422\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u0432\u0437\u044f\u043b\u0438 \u0441 CommonCrawl \u0438 Wikipedia. 17B \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u0414\u0432\u0443\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043f\u0430\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0430\u043f\u0430\u0440\u0441\u0438\u043b\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c bitext mining system. \u0418 \u043f\u043e\u0442\u043e\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043b\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 6B \u043f\u0430\u0440 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439.<\/p>\n<p>  <\/p>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong>: Bidirectional Dual Encoder with Additive Margin Softmax.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/e0\/y2\/sk\/e0y2skf3wh3es2a83m2prut3wye.png\" width=\"300\" height=\"200\"><\/p>\n<p><strong>\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/strong><\/p>\n<p>  <\/p>\n<ul>\n<li>Transformer \u0441 12 \u0441\u043b\u043e\u044f\u043c\u0438, 12 \u0433\u043e\u043b\u043e\u0432\u0430\u043c\u0438 \u0438 768 hidden size. <\/li>\n<li>\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0430 32-core slices Cloud TPU V3 pods. <\/li>\n<li>\u0411\u0430\u0442\u0447 2048, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 64. <\/li>\n<li>Margin value 0.3. <\/li>\n<li>\u041c\u043e\u0434\u0435\u043b\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f 50k \u0448\u0430\u0433\u043e\u0432 (\u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0434\u043d\u043e\u0439 \u044d\u043f\u043e\u0445\u0438).<\/li>\n<li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 AdamW, lr 1e-5, weight decay. <\/li>\n<li>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0434\u043e\u043c\u043d\u043e\u0436\u0430\u044e\u0442\u0441\u044f \u043d\u0430 10. \u042d\u0442\u043e \u0442\u0438\u043f\u0430 \u0432\u0430\u0436\u043d\u043e. <\/li>\n<li>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u044e\u043d\u0438\u043b\u0438 \u043d\u0430 holdout.<\/li>\n<\/ul>\n<p>  <\/p>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/strong><\/p>\n<p>  <\/p>\n<p>SOTA \u043d\u0430 Tatoeba, BUCC \u0438 UN.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/h9\/89\/po\/h989poxpw9jhikdzdlvqbfmnecw.png\"><\/p>\n<p><strong>\u0410\u043d\u0430\u043b\u0438\u0437<\/strong><\/p>\n<p>  <\/p>\n<ul>\n<li>Additive margin \u2014 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u0448\u0442\u0443\u043a\u0430. \u041f\u0440\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0438\u0437\u043a\u043e\u0435 (60+ \u0438\u043b\u0438 70+ P@1 \u043d\u0430 UN). \u041f\u0440\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 0.1 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0436\u0435 80+. \u0410 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0435 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445.<\/li>\n<li>\u041f\u0440\u0435\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430 (\u0441\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043d\u0438\u0436\u0435).<\/li>\n<li>\u041f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 Multilingual BERT LaBERT \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043d\u0430 \u044f\u0437\u044b\u043a\u0430\u0445, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b: \u0432 \u0440\u0430\u0437\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438 \u0441\u043b\u043e\u0432\u0430\u0440\u044c (500k vs 30k), TLM \u043f\u0440\u0435\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0438 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0435\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0432\u0438\u043a\u0438, \u043d\u043e \u0438 \u043d\u0430 commoncrawl.<\/li>\n<li>\u0412\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430, \u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0445\u0440\u0435\u043d\u043e\u0432\u0430\u044f. \u0410 \u0432\u043e\u0442 \u0435\u0441\u043b\u0438 \u0438\u0445 \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c, \u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u0441\u044f<\/li>\n<\/ul>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/r_\/6x\/kk\/r_6xkk5l8l6gxoppjdkj_bj_jog.png\"><\/p>\n<p>\u041c\u043d\u0435\u043d\u0438\u0435 \u0430\u0432\u0442\u043e\u0440\u0430 \u043e\u0431\u0437\u043e\u0440\u0430: &quot;\u0412 \u043e\u0431\u0449\u0435\u043c \u0432 \u0446\u0435\u043b\u043e\u043c \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u043e, \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u0432\u0437\u044f\u043b\u0438 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043b\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u043f\u0440\u043e\u0447\u0435\u043c. Cross-Accelerator Negative Sampling \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0432\u0435\u0441\u044c\u043c\u0430 \u043a\u0440\u0443\u0442\u043e&quot;<\/p>\n<p>  <\/p>\n<h3 id=\"9-self-supervised-learning-for-large-scale-unsupervised-image-clustering\">9. Self-Supervised Learning for Large-Scale Unsupervised Image Clustering<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438: Evgenii Zheltonozhskii, Chaim Baskin, Alex M. Bronstein, Avi Mendelson (Technion, Israel, 2020)<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/2008.10312\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438<\/a> :: <a href=\"https:\/\/github.com\/Randl\/kmeans_selfsuper\">GitHub project<\/a><br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0416\u0435\u043b\u0442\u043e\u043d\u043e\u0436\u0441\u043a\u0438\u0439 (\u0432 \u0441\u043b\u044d\u043a\u0435 evgeniyzh, \u043d\u0430 habr <a href=\"https:\/\/habr.com\/ru\/users\/Randl\/\">Randl<\/a>)<\/p>\n<p>  <\/p>\n<p><em>\u041e\u0431\u0437\u043e\u0440 \u043e\u0442 \u0430\u0432\u0442\u043e\u0440\u0430 \u0441\u0442\u0430\u0442\u044c\u0438.<\/em><\/p>\n<p>  <\/p>\n<p>\u041d\u0438\u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437 \u043e \u0440\u0430\u0431\u043e\u0442\u0435, \u0438, \u0437\u0430\u043e\u0434\u043d\u043e, \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d \u043a\u0440\u0430\u0442\u043a\u0438\u0439 \u043e\u0431\u0437\u043e\u0440 self-supervised learning (\u0440\u0435\u0447\u044c \u043e vision, \u0432 NLP \u0441 BERT \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f). \u041a\u0430\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, self-supervised learning \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u0434\u043b\u044f fully unsupervised clustering \u0442\u043e\u0433\u043e \u0436\u0435 ImageNet (39% accuracy \u0441 1000 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0438 46% \u0441 1500).<\/p>\n<p>  <\/p>\n<p><strong>Self-supervised learning<\/strong><br \/>  \u0421\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 self-supervised learning \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u0435\u043d, \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u0440\u043e\u0449\u0435 \u0447\u0435\u043c \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0442\u0438\u0442\u044c. \u0412 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 2019 \u0431\u044b\u043b \u0434\u0430\u043d \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043e\u0449\u043d\u044b\u0439 \u0431\u0443\u0441\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0437\u0430 \u0441\u0447\u0435\u0442 \u0440\u0435\u0441\u0435\u0440\u0447\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0437 \u0433\u0443\u0433\u043b\u0430 \u0438 \u0444\u0435\u0439\u0441\u0431\u0443\u043a\u0430. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0443\u0441\u043f\u0435\u0448\u043d\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 contrastive losses. \u0417\u0430 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u043c \u043e\u0431\u0437\u043e\u0440\u0430\u043c <a href=\"https:\/\/lilianweng.github.io\/lil-log\/2019\/11\/10\/self-supervised-learning.html\">1<\/a> \u0438 <a href=\"https:\/\/dyakonov.org\/2020\/06\/03\/%d1%81%d0%b0%d0%bc%d0%be%d0%be%d0%b1%d1%83%d1%87%d0%b5%d0%bd%d0%b8%d0%b5-self-supervision\/\">2<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u044e\u0442 \u043d\u0435\u0438\u043c\u043e\u0432\u0435\u0440\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e.<\/p>\n<p>  <\/p>\n<p>\u0412\u043a\u0440\u0430\u0442\u0446\u0435, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435. \u041e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u044e\u0441\u044c \u043d\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445 \u043a \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u0430\u043d\u0441\u0430. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0434\u0432\u0430, \u0441 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u043c\u0438: \u043b\u0438\u0431\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043d\u0430 \u0444\u0438\u0447\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0441\u0435\u0442\u044c, \u043b\u0438\u0431\u043e \u0444\u0430\u0439\u043d-\u0442\u044e\u043d\u0438\u0442\u044c \u0441\u0435\u0442\u044c (\u0442\u0443\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u043b\u0438\u0431\u043e 1-10% ImageNet, \u043b\u0438\u0431\u043e COCO \u0438 \u0434\u0440\u0443\u0437\u044c\u044f). \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441 \u043f\u0435\u0440\u0432\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u0432 \u0442\u043e\u043c \u0447\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0444\u0438\u0447\u0438 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c\u044b, \u0430 \u0441\u043e \u0432\u0442\u043e\u0440\u044b\u043c, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u0442\u044c (\u0441\u043c. SimCLR v2). \u042f \u0434\u0430\u0432\u043d\u043e \u0437\u0430\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c fully unsupervised \u044d\u0432\u0430\u043b\u044e\u0430\u0446\u0438\u044e \u0442\u0430\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0445\u043e\u0434\u0430 \u0441\u0442\u0430\u0442\u044c\u0438 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 ImageNet, \u044f \u043f\u043e\u043d\u044f\u043b \u0447\u0442\u043e \u043d\u0430\u0441\u0442\u0430\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0422\u0430\u043a \u043a\u0430\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e self-supervised \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0438 \u043a\u043e\u0434, \u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043e\u0431\u0448\u0438\u0440\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043d\u0435 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0432 over 9000 gpu-\u0447\u0430\u0441\u043e\u0432.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/se\/ed\/xk\/seedxkvbj_sxy1h5l7gtglhyzna.png\" width=\"550\" height=\"350\"><\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430, <strong>\u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/strong>. \u041d\u0435 \u0431\u0443\u0434\u0443 \u0437\u0430\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0438\u0445, \u043d\u043e unsupervised learning \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u041a \u0441\u0447\u0430\u0441\u0442\u044c\u044e, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043b\u0435\u0439\u0431\u043b\u044b \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c accuracy. \u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e, \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0430\u0440\u0443 \u043c\u0435\u0442\u0440\u0438\u043a \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u043e\u043f\u0430\u0440\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (\u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 positive, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0438 negative \u0438\u043d\u0430\u0447\u0435). \u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0430 \u0440\u0430\u043d\u0434\u043e\u043c, \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0432\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: adjusted Rand Index (ARI) \u0438 adjusted mutual information (AMI). \u0414\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0442\u0430\u043a\u0436\u0435 mutual information (MI) \u0431\u0435\u0437 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p><strong>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434<\/strong><br \/>  \u0421\u0430\u043c \u043f\u043e\u0434\u0445\u043e\u0434, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442 (\u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u044e, \u0446\u0435\u043b\u044c \u2014 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u044b): \u0434\u043e\u0441\u0442\u0430\u0435\u043c \u0444\u0438\u0447\u0438 \u0438\u0437 \u0442\u0440\u0435\u0439\u043d\u0438\u043d\u0433\u0430 \u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438, \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u0447\u0435\u0440\u0435\u0437 PCA, \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c \u043d\u0430 \u044d\u0442\u043e\u043c k-means. \u0414\u043b\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c linear assignment. \u042d\u0442\u043e\u0433\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u043a\u043e\u043b\u043e-sota. \u0417\u0430\u043e\u0434\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0441 \u0442\u043e\u043f\u043e\u0432\u044b\u043c\u0438 supervised \u0441\u0435\u0442\u043a\u0430\u043c\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0442 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 (\u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u044d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u043d\u043e). \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u2014 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043f\u043b\u043e\u0445\u043e. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u044d\u0442\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a k-means, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0438 \u043d\u0435\u0442.<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/6z\/io\/gg\/6zioggzjpihpeutnf7ise4qp1d4.png\" width=\"550\" height=\"350\"><\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 ImageNet \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0430 ObjectNet. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u0430 ImageNet \u043d\u0438\u0447\u0435\u0433\u043e \u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043d\u0430 \u043d\u0435\u043c \u043d\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u0442, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0435\u0439\u0431\u043b\u044b \u0441 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u2014 BigBiGAN). \u0423 supervised \u0442\u0435 \u0436\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0442\u043e \u0435\u0441\u043b\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c k-means \u043d\u0430 \u0441\u0430\u043c\u043e\u043c ObjectNet, \u0442\u043e \u043a\u0430\u043a\u043e\u0439-\u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u0435\u0441\u0442\u044c (6.5% accuracy). \u0427\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 ImageNet \u0438 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f.<\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 ablation study. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043a\u0430\u043a \u0432\u043b\u0438\u044f\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0438\u043d\u043f\u0443\u0442\u0430 (\u043f\u043e\u0441\u043b\u0435 PCA) \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 (\u0434\u043e 2000 \u0434\u0430\u0435\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0439 \u0431\u0443\u0441\u0442 \u0434\u0430\u0436\u0435 label-independent \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c).<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/t4\/9d\/gb\/t49dgb5-okuyz3px1vpzpotc1xo.png\" width=\"550\" height=\"350\"><\/p>\n<p>\u041f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0441\u0442\u0430\u0442\u044c\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043d\u0435\u043c\u0430\u043b\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u0441\u0442\u0440\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c. \u0410\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0434\u0435\u044e\u0442\u0441\u044f \u0432\u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u0437\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u0438\u043c\u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u043e\u0442\u043d\u043e, \u043d\u043e \u0442\u0430\u043c \u0443\u0436\u0435 \u0431\u0435\u0437 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 GPU \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e.<\/p>\n<p>  <\/p>\n<h3 id=\"10-batch-channel-normalization-and-weight-standardization-2-papers\">10. Batch-Channel Normalization and Weight Standardization (2 papers)<\/h3>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0431\u043e\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439: Siyuan Qiao, Huiyu Wang, Chenxi Liu, Wei Shen, Alan Yuille ( Johns HopkinsUniversity, USA, 2019)<br \/>  \u0410\u0432\u0442\u043e\u0440 \u043e\u0431\u0437\u043e\u0440\u0430: \u042d\u043c\u0438\u043b\u044c \u0417\u0430\u043a\u0438\u0440\u043e\u0432 (\u0432 \u0441\u043b\u044d\u043a\u0435 bonlime)<br \/>  \u0421\u0442\u0430\u0442\u044c\u044f 1: Micro-Batch Training with Batch-Channel Normalization and Weight Standardization<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/1903.10520\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 1<\/a> :: <a href=\"https:\/\/github.com\/joe-siyuan-qiao\/WeightStandardization\">GitHub project<\/a><br \/>  \u0421\u0442\u0430\u0442\u044c\u044f 2: Rethinking Normalization and Elimination Singularity in Neural Networks<br \/>  <a href=\"https:\/\/arxiv.org\/abs\/1911.09738\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 2<\/a><\/p>\n<p>  <\/p>\n<p>\u0420\u0430\u043d\u0435\u0435 \u0431\u044b\u043b <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/505040\/#5-weight-standardization\">\u043e\u0431\u0437\u043e\u0440<\/a> \u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0441\u0435\u0442\u043a\u0430\u0445 (Group Norm \u0438 Weight Standardization). \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e Weight Standardization \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0438 update \u043d\u0430 \u0441\u0432\u043e\u044e \u0441\u0442\u0430\u0442\u044c\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0430\u043a\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0447\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u043d\u043e\u0432\u0443\u044e \u0438 \u0434\u043e\u0441\u0442\u043e\u0438\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0437\u043e\u0440\u0430. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430, \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 (Imagenet \/ COCO \/ PASCAL VOC \/ Something-SomethingV1)<\/p>\n<p>  <\/p>\n<p><strong>TLDR<\/strong><br \/>  \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b: <\/p>\n<p>  <\/p>\n<ul>\n<li>\u041f\u043e\u0447\u0435\u043c\u0443 Group Norm (GN) \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0445\u0443\u0436\u0435 Batch Norm (BN) \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c? <\/li>\n<li>\u041f\u043e\u0447\u0435\u043c\u0443 Weight Standardization (WS) \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442?<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u043e\u0432\u044b\u0439 \u2014 <strong>Batch-Channel Normalization (BCN)<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c BN \u0438 GN, \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0432 micro-batch \u0440\u0435\u0436\u0438\u043c\u0435 \u0441 1 img\/gpu.<\/p>\n<p>  <\/p>\n<p><em>Batch-Channel Normalization = GroupNorm(BatchNorm(x))<\/em>, \u0442\u043e\u043b\u044c\u043a\u043e BN \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0435 running mean\/var \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0430 \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0431\u0430\u0442\u0447\u0430, \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0434\u0435\u043b\u0430\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u0432 micro-batch \u0440\u0435\u0436\u0438\u043c\u0435.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gu\/jq\/bx\/gujqbx_bykrj6jrsh3dnb6cvr0a.png\" width=\"350\"> <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ue\/ai\/cb\/ueaicb0xjnvtytkktkf35fel4ra.png\" width=\"300\">  <\/p>\n<p>  <\/p>\n<p>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437 \u0432\u0435\u0449\u0435\u0439 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u0435\u0442\u043e\u043a \u2014 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043c\u0435\u0440\u0442\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0438\u043b\u0438 \u0441\u043b\u043e\u0451\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u041e\u043d\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 <strong>singularity<\/strong> \u0438 \u0438\u0449\u0443\u0442 \u043a\u0430\u043a \u0441 \u043d\u0435\u0439 \u0431\u043e\u0440\u043e\u0442\u044c\u0441\u044f. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 BN, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0432\u0441\u0435\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 ReLU \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043d\u0443\u043b\u0435\u0432\u043e\u0439. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0436\u0435 Group Norm, \u0435\u0441\u043b\u0438 \u0443 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0432 \u0433\u0440\u0443\u043f\u043f\u0435 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u0430\u043d\u0430\u043b\u044b \u043c\u043e\u0433\u0443\u0442 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0440\u0443\u0433\u0438\u0445 \u0438\u043b\u0438 \u043d\u0435 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u043e\u043e\u0431\u0449\u0435, \u0447\u0442\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0444\u043e\u043c\u0430\u043d\u0441 (Fig. 7). <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043d\u0430 cifar \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u0445 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u043d\u0430\u043b\u0430\u043c\u0438 (\u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0432 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u043c statdiff) \u0438 \u043f\u0440\u0430\u0432\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439. (Fig.6). \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430 \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u0445 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u043d\u0430\u043b\u0430\u043c\u0438, \u043c\u043e\u0436\u043d\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c (\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e BN) \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c Group Norm. \u041d\u0435 \u043b\u0438\u0448\u043d\u044f\u044f \u043b\u0438 \u0432\u0442\u043e\u0440\u0430\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f? \u0410\u0432\u0442\u043e\u0440\u044b \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442 \u0447\u0442\u043e \u043d\u0435\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e 1) BCN \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0432 micro-batch \u0440\u0435\u0436\u0438\u043c\u0435 2) GN \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043d\u043e\u0441\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u0438 3) GN \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432 \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a Weight Standardization (WS) \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0441 singularity? \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0441 WS \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u0445, \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0435\u0441\u043b\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0445\u043e\u0434\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u0442\u043e \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u0441\u0435 \u043a\u0430\u043d\u0430\u043b\u044b \u0431\u0443\u0434\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f =&gt; stat diff \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 =&gt; \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0442 singularity =&gt; \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0449\u0435 \u0438 \u043f\u0435\u0440\u0444\u043e\u043c\u0430\u043d\u0441 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0448\u0435. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f =&gt; \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430\u044f, \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0435\u0451 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 (\u0441\u043c. \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u043d\u0438\u0436\u0435).<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/t0\/4p\/qk\/t04pqklargsfhdaoydaza_gjubo.png\" width=\"330\"> <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/o8\/bm\/bu\/o8bmbu-nawwcmf05m8powzp4gqu.png\" width=\"330\">  <\/p>\n<p>  <\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 Imagenet:<\/p>\n<p>  <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/eq\/9j\/pf\/eq9jpflxtriljyol08ps1hjm5ro.png\" width=\"400\" height=\"200\">  <\/p>\n<p>\u041c\u043d\u0435\u043d\u0438\u0435 \u0430\u0432\u0442\u043e\u0440\u0430 \u043e\u0431\u0437\u043e\u0440\u0430: <\/p>\n<p>  <\/p>\n<ol>\n<li>GN + WS \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u043b \u0432 \u043c\u043e\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u043f\u0440\u0438 BS=4, \u043d\u043e \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 BS \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u0445\u0443\u0436\u0435 \u0447\u0435\u043c BN + WS.<\/li>\n<li>\u041d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c WS \u0434\u043b\u044f efficientnet, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0442\u0430\u043c \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043a\u0430\u043a \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u0438 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/pdf\/1911.05920.pdf\">Understanding the Disharmony between Weight Normalization Family and Weight Decay<\/a> (\u043f\u0443\u043d\u043a\u0442 6.7) \u043f\u0438\u0441\u0430\u043b\u0438, \u0447\u0442\u043e \u043e\u043d\u043e \u043f\u043b\u043e\u0445\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/li>\n<li>\u0412 \u0442\u043e\u0440\u0447\u0435 1.6 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u0437\u0430\u043c\u0435\u0440\u0434\u0436\u0438\u043b\u0438 PR \u043d\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 GN, \u0442\u0430\u043a \u0447\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a \u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u043e \u043a\u0430\u043a BN, \u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0434\u0443\u0435\u0442.<\/li>\n<\/ol>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/523268\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/523268\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/523268\/\">\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/-y\/xl\/gx-yxlo7xiz-5y8krpyoj3rgswq.png\"><\/div>\n<p>  <\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u0442 \u0447\u043b\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 Open Data Science \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430 #article_essense. \u0425\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 \u2014 \u0432\u0441\u0442\u0443\u043f\u0430\u0439\u0442\u0435 \u0432 <a href=\"http:\/\/ods.ai\/\">\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e<\/a>!<\/p>\n<p>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"#1-high-resolution-neural-face-swapping-for-visual-effects\">High-Resolution Neural Face Swapping for Visual Effects (Disney Research Studios, ETH Zurich, 2020)<\/a><\/li>\n<li><a href=\"#2-beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist\">Beyond Accuracy: Behavioral Testing of NLP Models with CheckList (USA, 2020)<\/a><\/li>\n<li><a href=\"#3-thieves-on-sesame-street-model-extraction-of-bert-based-apis\">Thieves on Sesame Street! Model Extraction of BERT-based APIs (UMass &amp; Google Research, ICLR, 2019)<\/a><\/li>\n<li><a href=\"#4-time-aware-user-embeddings-as-a-service\">Time-Aware User Embeddings as a Service (Yahoo! Research, Temple University, 2020)<\/a><\/li>\n<li><a href=\"#5-are-labels-necessary-for-neural-architecture-search\">Are Labels Necessary for Neural Architecture Search? (Johns Hopkins University, Facebook AI Research, 2020)<\/a><\/li>\n<li><a href=\"#6-gshard-scaling-giant-models-with-conditional-computation-and-automatic-sharding\">GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (Google, 2020)<\/a><\/li>\n<li><a href=\"#7-data-shapley-equitable-valuation-of-data-for-machine-learning\">Data Shapley: Equitable Valuation of Data for Machine Learning (USA, 2019)<\/a><\/li>\n<li><a href=\"#8-language-agnostic-bert-sentence-embedding\">Language-agnostic BERT Sentence Embedding (Google AI, 2020)<\/a><\/li>\n<li><a href=\"#9-self-supervised-learning-for-large-scale-unsupervised-image-clustering\">Self-Supervised Learning for Large-Scale Unsupervised Image Clustering (Technion, Israel, 2020)<\/a><\/li>\n<li><a href=\"#10-batch-channel-normalization-and-weight-standardization-2-papers\">Batch-Channel Normalization and Weight Standardization (2 papers, Johns HopkinsUniversity, USA, 2019)<\/a><\/li>\n<\/ol>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-311455","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/311455","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=311455"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/311455\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=311455"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=311455"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=311455"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}