{"id":336340,"date":"2022-07-29T09:00:18","date_gmt":"2022-07-29T09:00:18","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=336340"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=336340","title":{"rendered":"<span>Token Pruning \u0438\u043b\u0438 \u00ab\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0441\u044a\u0435\u043b\u0430 \u043a\u043e\u0440\u043e\u0432\u0430\u00bb<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435<\/h2>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043f\u0440\u0438\u0435\u0432\u0448\u0435\u0439\u0441\u044f, \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u043e\u0439, \u043a\u043b\u0438\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0444\u0440\u0430\u0437\u044b, \u043c\u043e\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0449\u0435\u0439 \u0441\u0436\u0430\u0442\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439:<\/p>\n<blockquote>\n<p>\u0417\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0432 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u0438 \u0441\u0444\u0435\u0440\u0430\u0445 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 (\u0438 \u043d\u0435\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439) \u0434\u0435\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f \u0434\u0430\u0436\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043d\u0430 \u0440\u044f\u0434\u0435 \u0437\u0430\u0434\u0430\u0447. \u041d\u043e \u043c\u043e\u0449\u044c \u0438 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0444\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043a\u0430\u043a \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u0438 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435, \u0447\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0430 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0438 \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. <\/p>\n<\/blockquote>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e \u043c\u0435\u0440\u0435 \u0431\u0443\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 \u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0438\u0434\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043f\u043e \u0441\u0436\u0430\u0442\u0438\u044e \u0438 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2003.03033\" rel=\"noopener noreferrer nofollow\">\u041f\u0440\u0443\u043d\u0438\u043d\u0433<\/a> (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438 \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439)  &#8212; <a href=\"https:\/\/habr.com\/ru\/post\/575520\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0435\u0431\u044f<\/a> \ud83d\ude42<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2103.13630\" rel=\"noopener noreferrer nofollow\">\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435<\/a> (\u0438\u043b\u0438 \u0435\u0441\u043b\u0438 \u0443\u0433\u043e\u0434\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1503.02531\" rel=\"noopener noreferrer nofollow\">\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f<\/a> (Knowledge distillation)<\/p>\n<\/li>\n<li>\n<p>\u041d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f (\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a <a href=\"https:\/\/arxiv.org\/abs\/1511.06067\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430\u043c<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2006.04768\" rel=\"noopener noreferrer nofollow\">self-attention<\/a>)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1912.03647\" rel=\"noopener noreferrer nofollow\">Tensor-train \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f<\/a><\/p>\n<\/li>\n<li>\n<p>\u0438 \u043c\u043d\u043e\u0433\u043e-\u043c\u043d\u043e\u0433\u043e \u0432\u0441\u044f\u043a\u043e\u0439 \u0432\u0441\u044f\u0447\u0438\u043d\u044b.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a\u0438\u0435-\u0442\u043e \u0438\u0437 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b \u0432 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 &#8212; \u0442\u0438\u043f\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438, \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0434\u0440\u0443\u0433\u0438\u0445 (\u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439) \u0436\u0435 (\u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433) \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0438. \u0420\u0430\u0437\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0436\u043d\u043e <a href=\"https:\/\/neuralmagic.com\/blog\/benchmark-yolov5-on-cpus-with-deepsparse\/\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/a> \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c. <\/p>\n<h2>\u041f\u0440\u0443\u043d\u0438\u043d\u0433 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/h2>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 <a href=\"https:\/\/www.youtube.com\/redirect?event=video_description&amp;redir_token=QUFFLUhqbjg4ODAwbXlkYjNXWWF4dXhQTFYwSENqZFdMZ3xBQ3Jtc0tuT0tlZUctZ1NfaEhXbW5ZZ2lhaFlFT1RVX3VnVzR3N3Y1RkVpSUJjeGhnOVBpd0txQ0xPaXFaR0dDZzM4TmFOUEdtNEliZWU0NElKUDBOZXk0dktmS05BUFdkMzh3cFlERzZzLW1YZEdoVWZmQVl5NA&amp;q=https%3A%2F%2Farxiv.org%2Fabs%2F1706.03762&amp;v=iDulhoQ2pro\" rel=\"noopener noreferrer nofollow\">Transformer<\/a>, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u0432\u043e\u0435\u0439 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u044b\u043b\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u0432\u043e \u0432\u0441\u0435\u0445 (\u0438\u043b\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0445) \u0441\u0444\u0435\u0440\u0430\u0445 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0431\u0443\u0434\u044c \u0442\u043e \u0442\u0435\u043a\u0441\u0442, \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438, \u0437\u0432\u0443\u043a, \u0438\u043b\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u0438 <strong>attention<\/strong>, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c, \u0438 <strong>feedforward <\/strong>\u0441\u043b\u043e\u0438, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0449\u0438\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/672\/e4d\/c0a\/672e4dc0a7a7e2604c291299636e1c46.png\" alt=\"(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 Attention (\u0426\u0435\u043d\u0442\u0440) \u0410\u0433\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0421\u043f\u0440\u0430\u0432\u0430) \u0411\u043b\u043e\u043a \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430\/\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435\" title=\"(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 Attention (\u0426\u0435\u043d\u0442\u0440) \u0410\u0433\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0421\u043f\u0440\u0430\u0432\u0430) \u0411\u043b\u043e\u043a \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430\/\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435\" width=\"1714\" height=\"950\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/672\/e4d\/c0a\/672e4dc0a7a7e2604c291299636e1c46.png\"\/><figcaption>(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 Attention (\u0426\u0435\u043d\u0442\u0440) \u0410\u0433\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0421\u043f\u0440\u0430\u0432\u0430) \u0411\u043b\u043e\u043a \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430\/\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435<\/figcaption><\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u0445\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}\" alt=\"\\mathbf{x}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f43\/7ca\/29e\/f437ca29ec9215048e8200d7ce37649d.svg\" width=\"12\" height=\"12\"\/>, i-\u044b\u0439 \u0442\u043e\u043a\u0435\u043d &#8212; <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_i\" alt=\"\\mathbf{x}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebd\/4dc\/3b8\/ebd4dc3b8e5732a9dbef58a113b60b20.svg\" width=\"19\" height=\"15\"\/>. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q, K, V\" alt=\"Q, K, V\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0da\/849\/90a\/0da84990a568ff7726fcb21b5629d068.svg\" width=\"65\" height=\"20\"\/> \u0441\u043e\u043e\u0442\u0432\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043d\u044c\u043d\u043e\u0441\u0442\u044f\u043c query, key, value. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6bc\/03a\/113\/6bc03a11370ce4b3fbf48233b585daf9.svg\" width=\"17\" height=\"17\"\/>&#8212; \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0422\u043e\u043a\u0435\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u043e\u0432\u043e\u043c (\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044c\u044e \u0441\u043b\u043e\u0432\u0430) \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438, \u0438\u043b\u0438 \u043f\u0430\u0442\u0447\u0435\u043c \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 (\u0440\u0430\u0437\u043c\u0435\u0440\u0430 8&#215;8, 16&#215;16, 32&#215;32). \u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u0430\u0436\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043a\u0430\u043a \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 sentiment analysis, \u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0430\u0441\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u0443\u044e \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u043a\u0440\u0430\u0441\u043a\u0443 \u0438\u043c\u0435\u0435\u0442 \u043e\u0442\u0437\u044b\u0432, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0441\u043b\u043e\u0432\u0430, \u0438 \u0435\u0441\u043b\u0438 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043a\u0430\u043a\u043e\u0435 \u0436\u0438\u0432\u043e\u0442\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u043e  \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 &#8212; \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0438\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u043b\u0438 \u043a\u0443\u0441\u0442\u0430 \u0432\u0440\u044f\u0434 \u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043d\u0430\u0448 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/61f\/e09\/a94\/61fe09a9498b56aa664a905ecee4bcd6.png\" alt=\"(\u0421\u043b\u0435\u0432\u0430) \u041f\u0440\u0438\u043c\u0435\u0440 \u043e\u0442\u0437\u044b\u0432\u0430 \u043d\u0430 \u0444\u0438\u043b\u044c\u043c (\u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u043e\u0434\u0441\u0432\u0435\u0447\u0435\u043d\u043e \u0437\u0435\u043b\u0435\u043d\u044b\u043c).   (\u0421\u043f\u0440\u0430\u0432\u0430) \u041f\u0430\u0442\u0447\u0438 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u0441\u043e\u0431\u0430\u043a\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043a\u0440\u0430\u0441\u043d\u044b\u043c.\" title=\"(\u0421\u043b\u0435\u0432\u0430) \u041f\u0440\u0438\u043c\u0435\u0440 \u043e\u0442\u0437\u044b\u0432\u0430 \u043d\u0430 \u0444\u0438\u043b\u044c\u043c (\u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u043e\u0434\u0441\u0432\u0435\u0447\u0435\u043d\u043e \u0437\u0435\u043b\u0435\u043d\u044b\u043c).   (\u0421\u043f\u0440\u0430\u0432\u0430) \u041f\u0430\u0442\u0447\u0438 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u0441\u043e\u0431\u0430\u043a\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043a\u0440\u0430\u0441\u043d\u044b\u043c.\" width=\"1478\" height=\"508\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61f\/e09\/a94\/61fe09a9498b56aa664a905ecee4bcd6.png\"\/><figcaption>(\u0421\u043b\u0435\u0432\u0430) \u041f\u0440\u0438\u043c\u0435\u0440 \u043e\u0442\u0437\u044b\u0432\u0430 \u043d\u0430 \u0444\u0438\u043b\u044c\u043c (\u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u043e\u0434\u0441\u0432\u0435\u0447\u0435\u043d\u043e \u0437\u0435\u043b\u0435\u043d\u044b\u043c).   (\u0421\u043f\u0440\u0430\u0432\u0430) \u041f\u0430\u0442\u0447\u0438 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u0441\u043e\u0431\u0430\u043a\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043a\u0440\u0430\u0441\u043d\u044b\u043c.<\/figcaption><\/figure>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0441\u043b\u043e\u044f\u043c\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0438 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p>\u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u0438\u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u0438\u0447\u0435\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043e\u0442 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W_Q, W_K, W_V\" alt=\"W_Q, W_K, W_V\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9c\/b92\/115\/d9cb92115192fe91d387d61437ddbbcb.svg\" width=\"113\" height=\"22\"\/> \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 query, key, value, \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W_P\" alt=\"W_P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f2e\/cac\/98f\/f2ecac98fd512611a5457face1dd69f0.svg\" width=\"31\" height=\"19\"\/>\u043f\u043e\u0441\u043b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 feedforward \u0441\u043b\u043e\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0432 \u043f\u043b\u0430\u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b0\/a1c\/b30\/6b0a1cb30d262fa182222c70ebfb33ff.svg\" width=\"17\" height=\"17\"\/>, \u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f attention <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{softmax}\\left(QK\/ \\sqrt{d}\\right)\" alt=\"\\mathrm{softmax}\\left(QK\/ \\sqrt{d}\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d41\/3e4\/759\/d413e47596c77e87fe67af68c00a79cb.svg\" width=\"159\" height=\"27\"\/>\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/82d\/752\/a42\/82d752a4280ecdd6d408540028765f01.svg\" width=\"17\" height=\"17\"\/>.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 1 \u0440\u0430\u0431\u043e\u0442\u0430 \u0438\u0437 NLP \u043f\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438 4 \u0438\u0437 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f.<\/p>\n<h2>Learned Token Pruning for Transformers<\/h2>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP) \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2107.00910\" rel=\"noopener noreferrer nofollow\">Learned Token Pruning for Transformers<\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/020\/60d\/5fb\/02060d5fb018d6879c15dfad48658967.png\" alt=\"(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u043b\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Sentiment Analysis.  (\u0421\u043f\u0440\u0430\u0432\u0430) Attention \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u043e\u0441\u043e\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0411\u043e\u043b\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0431\u043e\u043b\u0435\u0435 \u0442\u0435\u043c\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c.  \" title=\"(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u043b\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Sentiment Analysis.  (\u0421\u043f\u0440\u0430\u0432\u0430) Attention \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u043e\u0441\u043e\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0411\u043e\u043b\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0431\u043e\u043b\u0435\u0435 \u0442\u0435\u043c\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c.  \" width=\"1700\" height=\"592\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/020\/60d\/5fb\/02060d5fb018d6879c15dfad48658967.png\"\/><figcaption>(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u043b\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Sentiment Analysis.  (\u0421\u043f\u0440\u0430\u0432\u0430) Attention \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u043e\u0441\u043e\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0411\u043e\u043b\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0431\u043e\u043b\u0435\u0435 \u0442\u0435\u043c\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c.  <\/figcaption><\/figure>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0439 attention \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0433\u043e\u043b\u043e\u0432\u0430\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"s^{(l)}(\\mathbf{x}_i) = \\frac{1}{n N_h} \\sum_{h=1}^{N_h} \\sum_{j=1}^{n} \\mathbf{A}^{(h, l)} (\\mathbf{x}_i, \\mathbf{x}_j)\" alt=\"s^{(l)}(\\mathbf{x}_i) = \\frac{1}{n N_h} \\sum_{h=1}^{N_h} \\sum_{j=1}^{n} \\mathbf{A}^{(h, l)} (\\mathbf{x}_i, \\mathbf{x}_j)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/372\/c62\/5cc\/372c625ccc2ee4250ab2e221e62d8cb8.svg\" width=\"304\" height=\"64\"\/><\/p>\n<p>\u0412\u044b\u0448\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_i\" alt=\"\\mathbf{x}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/373\/de8\/97b\/373de897bdd84c4d54999734662ff125.svg\" width=\"19\" height=\"15\"\/>&#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b79\/ac2\/07c\/b79ac207c41f5db491584d7ea4c65bf1.svg\" width=\"7\" height=\"16\"\/>-\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{A}^{(h, l)}\" alt=\"\\mathbf{A}^{(h, l)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c1\/ed3\/ce2\/8c1ed3ce2f6801fcbfaa4c4000fd2183.svg\" width=\"46\" height=\"22\"\/>&#8212; \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2bb\/250\/33c\/2bb25033cfd30ba7b459761b03f083d3.svg\" width=\"11\" height=\"17\"\/>-\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l\" alt=\"l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c80\/c1a\/cdb\/c80c1acdb119733721e214d8856614f5.svg\" width=\"6\" height=\"17\"\/>-\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f56\/843\/238\/f56843238c87c124fb06ddd942039fe9.svg\" width=\"12\" height=\"12\"\/>&#8212; \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N_h\" alt=\"N_h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/70c\/d9b\/06e\/70cd9b06ec63b2482caa527917d8ff4c.svg\" width=\"26\" height=\"20\"\/>&#8212; \u0447\u0438\u0441\u043b\u043e \u0433\u043e\u043b\u043e\u0432 \u0432 multi-head attention. <\/p>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0432 \u0412\u0430\u043b\u044c\u0433\u0430\u043b\u043b\u0443, \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043d\u0435\u0445\u0438\u0442\u0440\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l\" alt=\"l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b3f\/380\/8d7\/b3f3808d76c9db03a877e32809f31004.svg\" width=\"6\" height=\"17\"\/>\u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u043e\u0433 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta^{(l)}\" alt=\"\\theta^{(l)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/398\/a28\/9ae\/398a289ae15317651078db3b566863c0.svg\" width=\"26\" height=\"22\"\/>, \u0442\u0430\u043a\u043e\u0439 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s^{(l)}(\\mathbf{x}_i)\" alt=\"s^{(l)}(\\mathbf{x}_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e1\/d55\/8e8\/3e1d558e84870a30555d147415b35513.svg\" width=\"60\" height=\"26\"\/>\u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430, \u0442\u043e \u0442\u043e\u043a\u0435\u043d \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f, \u0430 \u0438\u043d\u0430\u0447\u0435 \u043f\u043e\u043a\u0438\u0434\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u043c\u0438\u0440. \u0424\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u044f \u0438\u043d\u0430\u0447\u0435, \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u0430\u044f \u043c\u0430\u0441\u043a\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430:<\/p>\n<p><img class=\"formula\" source=\"M^{(l)}(\\mathbf{x}_i)  = \\begin{cases}1 &amp; \\mathrm{if} \\  s^{(l)}(\\mathbf{x}_i) > \\theta^{(l)} \\\\ 0 &amp; \\mathrm{else} \\end{cases}&#187; alt=&#187;M^{(l)}(\\mathbf{x}_i)  = \\begin{cases}1 &amp; \\mathrm{if} \\  s^{(l)}(\\mathbf{x}_i) > \\theta^{(l)} \\\\ 0 &amp; \\mathrm{else} \\end{cases}&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/439\/d34\/685\/439d3468534d668138444542a4cf7739.svg&#187; width=&#187;278&#8243; height=&#187;50&#8243;\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0442\u043e\u043a\u0435\u043d \u0432 \u0441\u043b\u043e\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l\" alt=\"l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88b\/41b\/231\/88b41b231e6f0b844bc2d310d73edb37.svg\" width=\"6\" height=\"17\"\/> \u0437\u0430\u043f\u0440\u0443\u043d\u0435\u043d, \u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u0441 \u043d\u0438\u043c \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043a\u0430\u043a \u0432 \u0441\u043b\u043e\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l\" alt=\"l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d2c\/7e7\/42e\/d2c7e742ed02de0742d4f3f16a218687.svg\" width=\"6\" height=\"17\"\/>, \u0442\u0430\u043a \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0437\u0430 \u043d\u0438\u043c.<\/p>\n<h4>\u041e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043f\u043e\u0440\u043e\u0433<\/h4>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442: \u0430 \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\theta^{(l)}\" alt=\" \\theta^{(l)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7c\/c44\/a93\/a7cc44a9395480f412f911228e110aab.svg\" width=\"26\" height=\"22\"\/>? \u041e\u043d  \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0431\u043b\u043e\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l\" alt=\"l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c1\/d55\/af7\/9c1d55af74fd6849c9fbb5a0d12e6f6b.svg\" width=\"6\" height=\"17\"\/>, \u043e\u0442 \u043f\u043e\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0438 \u043e\u0442 \u0441\u0430\u043c\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u043e\u0440\u043e\u0433 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c. \u041d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043f\u043e\u0440\u043e\u0433, \u044f\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0432 \u0441\u0432\u044f\u0437\u0438 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0440\u043e\u0433\u0443 \u043d\u0435\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u043d\u0430 hard pruning \u043d\u0430 soft pruning, \u043a\u043e\u0433\u0434\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u0438, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{0, 1\\}\" alt=\"\\{0, 1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/461\/0fa\/215\/4610fa215feeced4a56cca11d419c765.svg\" width=\"48\" height=\"22\"\/>, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u043b\u044e\u0431\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0442 0 \u0434\u043e 1. \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u0430\u0441\u043a\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0430 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebd\/94d\/9a7\/ebd94d9a7c7c6c427523bfca756b4657.svg\" width=\"14\" height=\"17\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\tilde{M}^{(l)}(\\mathbf{x}_i)  = \\sigma \\left(\\frac{s^{(l)}(\\mathbf{x}_i) - \\theta^{(l)}}{T} \\right)\" alt=\"\\tilde{M}^{(l)}(\\mathbf{x}_i)  = \\sigma \\left(\\frac{s^{(l)}(\\mathbf{x}_i) - \\theta^{(l)}}{T} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/693\/526\/d8a\/693526d8a6f849772515a771ff3449f3.svg\" width=\"260\" height=\"62\"\/><\/p>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce7\/c5c\/672\/ce7c5c672d77caf82d2d0c72e4913523.svg\" width=\"14\" height=\"17\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0437\u043a\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 0 \u043a 1. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0442\u0447\u0438 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438, \u043d\u043e \u0438\u0445 \u0432\u043a\u043b\u0430\u0434 \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e \u0432 \u043d\u043e\u043b\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. <\/p>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u043e\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0432 3 \u044d\u0442\u0430\u043f\u0430:<\/p>\n<ol>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 soft \u043c\u0430\u0441\u043a\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tilde{M}^{(l)}(\\mathbf{x}_i)\" alt=\"\\tilde{M}^{(l)}(\\mathbf{x}_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/38c\/62a\/6ff\/38c62a6ffeaf004009e4f2e4d8aa39cb.svg\" width=\"71\" height=\"29\"\/>\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0435\u0442\u0438 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\theta^{(l)}\" alt=\" \\theta^{(l)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/845\/4d6\/6b7\/8454d66b72f850c6427a475ee5a35ffc.svg\" width=\"26\" height=\"22\"\/>\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u043c\u0430\u0441\u043a\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u043f\u043e\u0440\u043e\u0433\u043e\u0432 \u0438 hard \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. <\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043a \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c (\u0441\u043a\u0430\u0436\u0435\u043c, \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438) \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0447\u043b\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 soft \u043c\u0430\u0441\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}_{new} = \\mathcal{L} + \\lambda \\mathcal{L} _{reg} \\quad \\mathcal{L} _{reg} = \\frac{1}{L} \\sum_{l}^{L} \\Vert \\tilde{M}^{(l)}(\\mathbf{x}_i)  \\Vert_{1}\" alt=\"\\mathcal{L}_{new} = \\mathcal{L} + \\lambda \\mathcal{L} _{reg} \\quad \\mathcal{L} _{reg} = \\frac{1}{L} \\sum_{l}^{L} \\Vert \\tilde{M}^{(l)}(\\mathbf{x}_i)  \\Vert_{1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df7\/8bd\/bc7\/df78bdbc7e73af98abb87c526c48ff10.svg\" width=\"385\" height=\"60\"\/><\/p>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf6\/522\/d19\/bf6522d1953a5464a4176197b1973b21.svg\" width=\"11\" height=\"17\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 trade-off \u043c\u0435\u0436\u0434\u0443 \u0436\u0435\u043b\u0430\u043d\u0438\u0435\u043c \u0440\u0435\u0448\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<h4>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h4>\n<p>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u0441\u044f \u043d\u0430 \u0440\u044f\u0434\u0435 \u0437\u0430\u0434\u0430\u0447 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 &#8212; <code>MNLI, MNLI-m, QQP, QNLI, SST-2, SST-B, MRPC, RTE<\/code>. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <code>RoBERTa-Base<\/code>. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/333\/8c3\/a1c\/3338c3a1ce097ddc463571b2e41f3564.png\" alt=\"\u0412\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f LTP \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u043e\u0434 Speedup \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 FLOPs \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0441 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \" title=\"\u0412\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f LTP \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u043e\u0434 Speedup \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 FLOPs \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0441 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \" width=\"796\" height=\"478\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/333\/8c3\/a1c\/3338c3a1ce097ddc463571b2e41f3564.png\"\/><figcaption>\u0412\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f LTP \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u043e\u0434 Speedup \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 FLOPs \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0441 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432. <\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0434\u0430\u0435\u0442\u0441\u044f  \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2 \u0440\u0430\u0437\u0430 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 FLOPs. \u041e\u0434\u043d\u0430\u043a\u043e, \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 FLOPs \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0442\u0440\u0443\u0434\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b \u0446\u0438\u0444\u0440\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 \u0421PU\/GPU. \u0418 \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043d\u0438\u0436\u0435, \u0437\u0430 \u0441\u0447\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 (\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0442\u043e\u0439 \u0436\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043d\u043e \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0438\u043b\u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u043e\u043c). <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4d6\/a88\/ea0\/4d6a88ea0aef4b5997739b35614f8a51.png\" alt=\"\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0430) \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 QNLP, QQP \u043d\u0430 CPU (Intel Haswell) \u0438 GPU (Nvidia V100). \" title=\"\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0430) \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 QNLP, QQP \u043d\u0430 CPU (Intel Haswell) \u0438 GPU (Nvidia V100). \" width=\"1716\" height=\"380\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4d6\/a88\/ea0\/4d6a88ea0aef4b5997739b35614f8a51.png\"\/><figcaption>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0430) \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 QNLP, QQP \u043d\u0430 CPU (Intel Haswell) \u0438 GPU (Nvidia V100). <\/figcaption><\/figure>\n<ul>\n<li>\n<p>\u041a \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0443 \u0438 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0430, \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. <\/p>\n<\/li>\n<li>\n<p>\u041a \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c \u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u043d\u0435\u0432\u043e\u0437\u0436\u043e\u043c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0436\u0435\u043b\u0430\u0435\u043c\u0443\u044e \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b3e\/093\/2a6\/b3e0932a6fc3707a1049ee8c6bc38927.svg\" width=\"11\" height=\"17\"\/> \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0438\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u043c, \u043d\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u0430\u043a\u0438\u043c \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438, \u0441\u043a\u0430\u0436\u0435\u043c, \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 2 \u0440\u0430\u0437\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e2\/382\/85e\/3e238285e9dbaa6b49059291a20d9681.svg\" width=\"11\" height=\"17\"\/>. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043e\u0442 \u0442\u043e\u0433\u043e \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0438\u043b\u0438 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d attention. \u0422\u043e \u0435\u0441\u0442\u044c speedup \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434. <\/p>\n<\/li>\n<\/ul>\n<h2>Dynamic-ViT<\/h2>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435<a href=\"https:\/\/arxiv.org\/abs\/2106.02034\" rel=\"noopener noreferrer nofollow\"> Dynamic-ViT<\/a> (\u0443\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f) \u043e\u0442\u0431\u043e\u0440 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0438 \u043d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_i \\in \\mathbb{R}^{D}\" alt=\"\\mathbf{x}_i \\in \\mathbb{R}^{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/728\/480\/e56\/728480e56cefba404676b02239a4da52.svg\" width=\"70\" height=\"24\"\/>\u043d\u0430 \u0432\u0445\u043e\u0434 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MLP}_1(\\mathrm{x})\" alt=\"\\mathrm{MLP}_1(\\mathrm{x})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e25\/87c\/7b2\/e2587c7b205e3960940bbc210e3be361.svg\" width=\"78\" height=\"22\"\/>\u0432\u044b\u0434\u0430\u044e\u0449\u0435\u0439 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{z}_i^{(\\mathrm{local})} \\in \\mathbb{R}^{D'}\" alt=\"\\mathbf{z}_i^{(\\mathrm{local})} \\in \\mathbb{R}^{D'}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a2\/d94\/892\/3a2d94892cf6cc36316e83d8331432be.svg\" width=\"106\" height=\"30\"\/>\u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{z}_i\" alt=\"\\mathbf{z}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/580\/2a3\/ee8\/5802a3ee831b0e87dda7dd53cbb680a4.svg\" width=\"17\" height=\"15\"\/>\u043f\u043e \u0432\u0441\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 &#8212; \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{z}^{(\\mathrm{global})}\" alt=\"\\mathbf{z}^{(\\mathrm{global})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/508\/047\/fc5\/508047fc5a40e0135b543acd5641273c.svg\" width=\"59\" height=\"22\"\/>, \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi\" alt=\"\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f65\/7f2\/60a\/f657f260a33b1bd48544b901ced96387.svg\" width=\"11\" height=\"12\"\/> \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MLP}_2(\\mathrm{x})\" alt=\"\\mathrm{MLP}_2(\\mathrm{x})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/48c\/3c7\/ae9\/48c3c7ae9155c3f7578c178d7c571b66.svg\" width=\"78\" height=\"22\"\/>\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0435\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{z}_i^{(\\mathrm{local})}\" alt=\"\\mathbf{z}_i^{(\\mathrm{local})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a6f\/f65\/ad4\/a6ff65ad4ee5233f8e61fc797d6019ef.svg\" width=\"50\" height=\"30\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{z}^{(\\mathrm{global})}\" alt=\"\\mathbf{z}^{(\\mathrm{global})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/adb\/55c\/b2a\/adb55cb2ab8b6b49078ee05744310935.svg\" width=\"59\" height=\"22\"\/>, \u043a \u0432\u044b\u0445\u043e\u0434\u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{softmax}\" alt=\"\\mathrm{softmax}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee5\/03d\/928\/ee503d928a3af713e491972f5cb99cb8.svg\" width=\"69\" height=\"17\"\/> (\u0445\u043e\u0442\u044f \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{z}^{(\\mathrm{local})} = \\mathrm{MLP}_1(\\mathrm{\\mathbf{x}}) \\\\ \\mathbf{z}^{(\\mathrm{global})} = \\mathrm{AvgPool}(\\mathbf{z}^{(\\mathrm{local})}) \\\\ \\mathbf{\\pi} = \\mathrm{MLP}_2([\\mathbf{z}^{(\\mathrm{local})}, \\mathbf{z}^{(\\mathrm{global})}])\" alt=\"\\mathbf{z}^{(\\mathrm{local})} = \\mathrm{MLP}_1(\\mathrm{\\mathbf{x}}) \\\\ \\mathbf{z}^{(\\mathrm{global})} = \\mathrm{AvgPool}(\\mathbf{z}^{(\\mathrm{local})}) \\\\ \\mathbf{\\pi} = \\mathrm{MLP}_2([\\mathbf{z}^{(\\mathrm{local})}, \\mathbf{z}^{(\\mathrm{global})}])\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e0\/f4a\/e72\/9e0f4ae7289d4368eaef1bef0c44d66d.svg\" width=\"697\" height=\"90\"\/><\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{0}\" alt=\"\\pi_{0}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/509\/ce7\/4a5\/509ce74a524f6435ed0f751e7f4fadbc.svg\" width=\"20\" height=\"15\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{1}\" alt=\"\\pi_{1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/919\/066\/23d\/91906623d0ce75ee2e042bc484800cc1.svg\" width=\"20\" height=\"14\"\/>, c\u043e\u043e\u0442\u0432\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u041d\u043e \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0442\u043e\u0433\u0434\u0430 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e, \u0435\u0441\u043b\u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u0435 &#8212; \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0435\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430\u044f? \u0418 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u0434\u0438\u043d \u0438\u0437 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0441\u044d\u043f\u043c\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u0440\u043e\u0441\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0447\u0435\u0440\u0435\u0437 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f &#8212; <a href=\"https:\/\/arxiv.org\/abs\/1611.01144\" rel=\"noopener noreferrer nofollow\">GumbelSoftmax<\/a>. <\/p>\n<h4>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/h4>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0438 \u0434\u043b\u044f \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f, \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 3 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u043b\u0435\u043d\u0430 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c (\u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e):<\/p>\n<ul>\n<li>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0441 \u043d\u0435\u0437\u0430\u043f\u0440\u0443\u043d\u0435\u043d\u043d\u044b\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<p>\u041d\u0438\u0436\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{\\mathbf{D}}_{i}^{b, S}\" alt=\"\\hat{\\mathbf{D}}_{i}^{b, S}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/926\/cb1\/d08\/926cb1d0867aa0190ae7dac879a58df8.svg\" width=\"38\" height=\"30\"\/>\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 \u0434\u043b\u044f i-\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f5\/df8\/04c\/2f5df804c5335e7be68438cecedde33a.svg\" width=\"8\" height=\"17\"\/>-\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e \u0437\u0430\u043c\u044b\u0441\u043b\u0443 \u0434\u043e\u043b\u0436\u043d\u044b \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0442\u0443 \u0436\u0435 \u0441\u0430\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0447\u0442\u043e \u0438 \u043f\u0440\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043a\u0435 \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/930\/389\/553\/93038955342490c99ed8bf2a213aa696.png\" width=\"713\" height=\"119\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/930\/389\/553\/93038955342490c99ed8bf2a213aa696.png\"\/><figcaption><\/figcaption><\/figure>\n<ul>\n<li>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0441 \u043b\u043e\u0433\u0438\u0442\u0430\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0432 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438).<\/p>\n<\/li>\n<\/ul>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/685\/485\/66a\/68548566a168e7432e1736a91939afd3.png\" width=\"282\" height=\"72\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/685\/485\/66a\/68548566a168e7432e1736a91939afd3.png\"\/><figcaption><\/figcaption><\/figure>\n<ul>\n<li>\n<p>MSE Loss, \u0443\u0441\u0442\u0440\u0435\u043c\u043b\u044f\u044e\u0449\u0438\u0439 \u0434\u043e\u043b\u044e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c\u044b\u0445 \u043f\u0430\u0442\u0447\u0435\u0439 \u043a \u0446\u0435\u043b\u0435\u0432\u043e\u043c\u0443 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\rho^{(s)}\" alt=\"\\rho^{(s)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/52a\/a1f\/c0b\/52aa1fc0bdd3f65e41b9e2a47135d7f6.svg\" width=\"29\" height=\"26\"\/>:<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/893\/bf3\/4fb\/893bf34fbb61a25e0ee75a7fff1a339b.png\" width=\"650\" height=\"142\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/893\/bf3\/4fb\/893bf34fbb61a25e0ee75a7fff1a339b.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043b\u043e\u0441\u0441 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u043e\u0439 \u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439) \u043b\u043e\u0441\u0441\u043e\u0432:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c94\/fba\/244\/c94fba24445142a130309f60f2a7c8c1.png\" alt=\"\" title=\"\" width=\"708\" height=\"72\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c94\/fba\/244\/c94fba24445142a130309f60f2a7c8c1.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a0\/4f0\/c28\/2a04f0c2898109f5ecba28ed6ee2eb67.svg\" width=\"9\" height=\"12\"\/>-\u043e\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443 \u0431\u043b\u043e\u043a\u0435 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"[N \\rho^{(s)}]\" alt=\"[N \\rho^{(s)}]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c6\/4b4\/d8b\/5c64b4d8bebc60c0783bb496b13eb70e.svg\" width=\"58\" height=\"26\"\/>\u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0430\u0447\u0442\u0435\u0439 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_1\" alt=\"\\pi_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/531\/ff3\/1da\/531ff31da3e29495ac55046442bb1cfb.svg\" width=\"20\" height=\"14\"\/>. <\/p>\n<p>\u0412\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 30 \u044d\u043f\u043e\u0445 (1\/10 \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f DeiT \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2012.12877\" rel=\"noopener noreferrer nofollow\">Training data-efficient image transformers &amp; distillation through attention<\/a>).<\/p>\n<h4>\u041a\u0440\u0438\u0432\u044b\u0435 \u041f\u0430\u0440\u0435\u0442\u043e \u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/h4>\n<p>\u0412\u0441\u044f\u043a\u0438\u0439 \u0443\u0432\u0430\u0436\u0430\u044e\u0449\u0438\u0439 \u0441\u0435\u0431\u044f \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d \u043d\u0430 \u043a\u0440\u0438\u0432\u043e\u0439 \u041f\u0430\u0440\u0435\u0442\u043e \u0441\u0432\u044f\u0449\u0435\u043d\u043d\u043e\u0439 \u0437\u043b\u043e\u0431\u043e\u0439 \u0432\u043e\u0437\u0432\u044b\u0448\u0430\u044f\u0441\u044c \u043d\u0430\u0434 \u0434\u044b\u0448\u0430\u0449\u0438\u043c\u0438 \u0432 \u0441\u043f\u0438\u043d\u0443 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430\u043c\u0438. \u041d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 ImageNet \u043f\u0440\u043e\u0442\u0438\u0432 \u0447\u0438\u0441\u043b\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 (\u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 FLOPs).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d8b\/932\/dc1\/d8b932dc121ccd406797de96ffa785cf.png\" width=\"1338\" height=\"608\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d8b\/932\/dc1\/d8b932dc121ccd406797de96ffa785cf.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 4.1 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0430\u0435\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 throughput (\u0447\u0438\u0441\u043b\u0435 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043c\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438) \u0432 <code>43-54%<\/code> \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043f\u0440\u0438 \u0437\u0430\u043c\u0435\u0440\u0430\u0445 \u043d\u0430 <code>Nvidia RTX 3090<\/code> \u0441 \u0431\u0430\u0442\u0447\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <code>32<\/code>, \u043e\u0434\u043d\u0430\u043a\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u043a\u0430\u0440\u0442\u0438\u043d\u044b \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043a\u0440\u0438\u0432\u044b\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 accuracy \u043e\u0442 throughtput \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0417\u0430\u043d\u044f\u0442\u043d\u043e\u0439 \u0438 \u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0439 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e, \u0447\u0442\u043e Dynamic-ViT \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u044b, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0435 \u0441\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0439 \u043e\u0431\u044a\u0435\u043a\u0442.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/344\/8a8\/6ed\/3448a86ed1bfe6b14860f2fb83f270ba.png\" alt=\"\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0442\u0447\u0435\u0439.  1-\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u043f\u0435\u0440\u0435\u0434 4-\u044b\u043c \u0431\u043b\u043e\u043a\u043e\u043c, 2-\u0430\u044f \u043f\u0435\u0440\u0435\u0434 7-\u044b\u043c, 3-\u0430\u044f \u043f\u0435\u0440\u0435\u0434 10-\u044b\u043c.\" title=\"\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0442\u0447\u0435\u0439.  1-\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u043f\u0435\u0440\u0435\u0434 4-\u044b\u043c \u0431\u043b\u043e\u043a\u043e\u043c, 2-\u0430\u044f \u043f\u0435\u0440\u0435\u0434 7-\u044b\u043c, 3-\u0430\u044f \u043f\u0435\u0440\u0435\u0434 10-\u044b\u043c.\" width=\"1312\" height=\"1164\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/344\/8a8\/6ed\/3448a86ed1bfe6b14860f2fb83f270ba.png\"\/><figcaption>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0442\u0447\u0435\u0439.  1-\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u043f\u0435\u0440\u0435\u0434 4-\u044b\u043c \u0431\u043b\u043e\u043a\u043e\u043c, 2-\u0430\u044f \u043f\u0435\u0440\u0435\u0434 7-\u044b\u043c, 3-\u0430\u044f \u043f\u0435\u0440\u0435\u0434 10-\u044b\u043c.<\/figcaption><\/figure>\n<h2>Ablation study<\/h2>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u0438 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u043a\u0430\u043a \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0430\u043a \u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0435\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2ee\/e1a\/2a6\/2eee1a2a6a149946137e59496ab723cb.png\" width=\"558\" height=\"320\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ee\/e1a\/2a6\/2eee1a2a6a149946137e59496ab723cb.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0410 \u0432\u043e\u0442 \u0441\u0430\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0442\u0431\u043e\u0440\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u0430\u0436\u0435\u043d \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c average pooling \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u043e\u0435 (\u043f\u0440\u0438 \u0442\u043e\u043c \u0436\u0435 \u0441\u0430\u043c\u043e\u043c \u0447\u0438\u0441\u043b\u0435 FLOPs) &#8212; Structural Sparsification, \u0438 \u043f\u0440\u0438 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0433\u043e \u043c\u043e\u0434\u0443\u043b\u044f &#8212; Static Sparsification (\u0442\u0430\u0431\u043b\u0438\u0446\u0430 (a)). \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0438 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e attention score \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043e\u0442\u0431\u043e\u0440\u0430 (\u0442\u0430\u0431\u043b\u0438\u0446\u0430 (b)). <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/baa\/5da\/373\/baa5da373fdb990afeff0f7366e32925.png\" alt=\"\" title=\"\" width=\"1346\" height=\"284\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/baa\/5da\/373\/baa5da373fdb990afeff0f7366e32925.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u043c\u0435\u0435\u0442 \u043c\u0435\u0441\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0432\u043e\u0431\u043e\u0434\u0430 \u0432 \u043f\u043b\u0430\u043d\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u043e \u0432\u0441\u0435\u0445 12 \u0431\u043b\u043e\u043a\u0430\u0445 Vision \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 ViT\/DeiT \u043f\u043e 12 \u0431\u043b\u043e\u043a\u043e\u0432 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432), \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c, \u0438\u043b\u0438 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0437 12. \u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u044b\u043b \u043f\u043e\u043b\u0443\u0447\u0435\u043d \u043f\u0440\u0438 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0438 \u0432 \u0442\u0440\u0435\u0445 \u0431\u043b\u043e\u043a\u0430\u0445 \u0438\u0437 12, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e -4-\u0433\u043e, 7-\u0433\u043e, 10-\u0433\u043e \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0434\u043e\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u0438 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0447\u0438\u0441\u043b\u0435 FLOPs \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0435\u0442, \u043d\u043e \u0443\u0436\u0435 \u043f\u0440\u0438 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439, \u0430 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 \u0442\u0440\u0435\u0445 \u043c\u0435\u0441\u0442\u0430\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/df1\/f60\/f67\/df1f60f6704cb04504bc29735c30dc45.png\" alt=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u043e\u0433\u043e \u0438 \u043c\u043d\u043e\u0433\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 FLOPs. \" title=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u043e\u0433\u043e \u0438 \u043c\u043d\u043e\u0433\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 FLOPs. \" width=\"910\" height=\"244\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df1\/f60\/f67\/df1f60f6704cb04504bc29735c30dc45.png\"\/><figcaption>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u043e\u0433\u043e \u0438 \u043c\u043d\u043e\u0433\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 FLOPs. <\/figcaption><\/figure>\n<h2>S-ViTe <\/h2>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2106.04533\" rel=\"noopener noreferrer nofollow\">Chasing Sparsity in Vision Transformers: An End-to-End Exploration<\/a> \u0430\u0432\u0442\u043e\u0440\u044b \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u044c (\u0432\u0435\u0441\u0430 \u043c\u0430\u0442\u0440\u0438\u0446) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u0430 \u0438 \u043e\u0442\u0431\u0438\u0440\u0430\u044e\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u0442\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b. <\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <a href=\"https:\/\/arxiv.org\/abs\/1911.11134\" rel=\"noopener noreferrer nofollow\">RigL<\/a> \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0443\u0431\u0438\u0440\u0430\u044e\u0449\u0438\u0439 \u0432\u0435\u0441\u0430 \u0441 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439 \u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0449\u0438\u0439 \u0432\u0435\u0441\u0430 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u043e \u043d\u0438\u043c. <\/p>\n<p>\u041e\u0442\u0431\u043e\u0440 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434, \u0447\u0442\u043e \u0438 Dynamic-ViT, \u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u0430\u0442\u0447\u0430 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (\u0431\u0435\u0437 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u0438 \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{z}^{(\\mathrm{global})}\" alt=\"\\mathbf{z}^{(\\mathrm{global})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/309\/48d\/40c\/30948d40c57e8889790644a23e5b1cf1.svg\" width=\"59\" height=\"22\"\/>, \u043a\u0430\u043a \u0432 Dynamic-ViT). \u041e\u0442\u0431\u043e\u0440 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0434 \u043f\u0435\u0440\u0432\u044b\u043c \u0441\u043b\u043e\u0435\u043c, \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043f\u0430\u0442\u0447\u0435\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438.<\/p>\n<p>\u0421\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043a\u0440\u043e\u043c\u0435\u043d, \u0442\u0430\u043a \u043a\u0430\u043a \u0431\u0435\u0437 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c, \u043f\u043e \u0432\u0441\u0435\u0439 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043f\u0440\u043e\u0440\u0435\u0434\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e \u0443\u0440\u043e\u0432\u043d\u044f 40-60%, \u0433\u0434\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 FLOPs \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<p>\u041d\u0438\u0436\u0435<\/p>\n<ul>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{SViTE}\" alt=\"\\mathrm{SViTE}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/866\/01a\/475\/86601a47526d4c6255d126e1daa14303.svg\" width=\"58\" height=\"17\"\/> &#8212; \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0440\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{S^2ViTE}\" alt=\"\\mathrm{S^2ViTE}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e2\/bd5\/d4e\/3e2bd5d4e42cf91d456d0052fdef2cda.svg\" width=\"67\" height=\"21\"\/>&#8212; \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{S(S^2)+ViTE}\" alt=\"\\mathrm{S(S^2)+ViTE}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/681\/731\/d8d\/681731d8d3a028c48139e783986e13f8.svg\" width=\"117\" height=\"25\"\/>&#8212; \u043f\u0440\u0443\u043d\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a81\/1ea\/265\/a811ea265b83aab42fc437a151bfb1b9.png\" alt=\"\u041d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Tiny(Small)\" title=\"\u041d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Tiny(Small)\" width=\"1346\" height=\"450\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a81\/1ea\/265\/a811ea265b83aab42fc437a151bfb1b9.png\"\/><figcaption>\u041d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Tiny(Small)<\/figcaption><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cdd\/270\/bd7\/cdd270bd7acde61602379aa63d942d6f.png\" alt=\"\u041d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Base \u0438 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Small c \u043e\u0442\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0442\u0447\u0435\u0439\" title=\"\u041d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Base \u0438 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Small c \u043e\u0442\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0442\u0447\u0435\u0439\" width=\"1352\" height=\"474\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdd\/270\/bd7\/cdd270bd7acde61602379aa63d942d6f.png\"\/><figcaption>\u041d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Base \u0438 \u043f\u0440\u0443\u043d\u0438\u043d\u0433 DeiT-Small c \u043e\u0442\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0442\u0447\u0435\u0439<\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (5-10%) \u0438 \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u0430\u043c \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e (\u0430 \u0434\u043b\u044f \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u0443\u0434\u0442\u043e \u0431\u044b \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u0436\u0435 \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c). \u041f\u0440\u0430\u0432\u0434\u0430, \u044d\u0442\u0430 \u0434\u043e\u043b\u044f \u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u043d\u0435\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043d\u0435\u0432\u0435\u043b\u0438\u043a\u0438. \u041e\u0442\u0431\u043e\u0440 \u043f\u0430\u0442\u0447\u0435\u0439 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bc5\/239\/565\/bc52395655ca60dffe90883f0f63396e.png\" width=\"1326\" height=\"400\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc5\/239\/565\/bc52395655ca60dffe90883f0f63396e.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a \u0434\u0440\u0443\u0433\u0438\u043c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0435\u0449\u0435 \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u0434\u043e\u0440\u043e\u0433\u043e\u0432\u0438\u0437\u043d\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 (\u0432 \u043e\u0431\u044c\u0435\u043c\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439). \u041f\u043e\u043b\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u044d\u043f\u043e\u0445 (\u0430\u0436 600 \u0448\u0442\u0443\u043a), \u0447\u0435\u043c \u0441\u0430\u043c\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043d\u0443\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 <a href=\"https:\/\/arxiv.org\/abs\/2012.12877\" rel=\"noopener noreferrer nofollow\">DeiT,<\/a> \u0447\u0442\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 google.colab. \u041d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0440\u0430\u0431\u043e\u0442\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u043a\u0430\u043a \u043f\u0435\u0440\u0432\u0430\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043e\u0431\u044c\u0435\u0434\u0438\u043d\u0438\u0442\u044c model \u0438 data sparsity \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a Vision Transformer.<\/p>\n<h2>IA-RED^2<\/h2>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/openreview.net\/forum?id=7X_sBjIwtm9\" rel=\"noopener noreferrer nofollow\">Interpretability-Aware Redundancy Reduction for Vision Transformers<\/a> \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0430\u0436 \u0446\u0435\u043b\u043e\u0433\u043e RL-\u0430\u0433\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u043e\u0442\u0431\u043e\u0440\u0430 \u043f\u0430\u0442\u0447\u0435\u0439. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/427\/b7f\/d4b\/427b7fd4b51d5152d2678bd557ab8f91.png\" width=\"1394\" height=\"862\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/427\/b7f\/d4b\/427b7fd4b51d5152d2678bd557ab8f91.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0411\u043e\u043b\u0435\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e, \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 : \u043f\u0435\u0440\u0435\u0434 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u043e\u0439 \u0431\u043b\u043e\u043a\u043e\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u0435\u043b\u044f\u0442 12 \u0431\u043b\u043e\u043a\u043e\u0432 \u043d\u0430 3 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e 4 \u0431\u043b\u043e\u043a\u0430) \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u043b\u043e\u043a \u043e\u0442\u0431\u043e\u0440\u0430 \u043f\u0430\u0442\u0447\u0435\u0439. \u0412 \u044d\u0442\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u043a \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u043c\u0443 policy \u0442\u043e\u043a\u0435\u043d\u0443 \u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c \u043f\u0430\u0442\u0447\u0435\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 &#8212; \u043f\u043e \u0442\u0438\u043f\u0443 key \u0434\u043b\u044f policy \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 query \u0434\u043b\u044f \u043f\u0430\u0442\u0447\u0435\u0439, \u0430 \u0437\u0430\u0442\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 \u043a \u044d\u0442\u043e\u043c\u0443 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\phi\" alt=\"\\phi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a6\/e17\/779\/4a6e1777904b8429a66088a058e1511f.svg\" width=\"12\" height=\"21\"\/> \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u043b\u0438 \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d. <\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/61e\/b2b\/894\/61eb2b89453f0d552824efdc7b493416.png\" width=\"494\" height=\"112\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61e\/b2b\/894\/61eb2b89453f0d552824efdc7b493416.png\"\/><figcaption><\/figcaption><\/figure>\n<p>RL-a\u0433\u0435\u043d\u0442 \u0441 policy \u0438\u0437 \u0434\u0432\u0443\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 &#8212; \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0442\u043e\u043a\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u_i=1\" alt=\"u_i=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b3e\/46d\/302\/b3e46d302badc532abf8310f15472bf5.svg\" width=\"54\" height=\"20\"\/>\u0438\u043b\u0438 \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0442\u043e\u043a\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u_i=0\" alt=\"u_i=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebc\/21e\/8a9\/ebc21e8a91c563292fa9dc410027d568.svg\" width=\"54\" height=\"20\"\/> &#8212; \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%91%D0%B5%D1%80%D0%BD%D1%83%D0%BB%D0%BB%D0%B8\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438<\/a> \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"I_{ij}\" alt=\"I_{ij}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/43d\/b96\/9f7\/43db969f7132b96f0d118b494250e561.svg\" width=\"21\" height=\"22\"\/>. \u0417\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0443\u0434\u0430\u0447\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430\u0433\u0440\u0430\u0434\u0443, \u0440\u0430\u0441\u0442\u0443\u0449\u0443\u044e \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u043e\u0442\u0431\u0440\u043e\u0448\u0435\u043d\u043d\u044b\u043c \u043f\u0430\u0442\u0447\u0435\u0439, \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f1\/959\/2ee\/5f19592eeeadbb65425b4cab89272f77.svg\" width=\"10\" height=\"12\"\/>\u0432 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u0412\u044b\u0431\u043e\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce2\/36c\/bfe\/ce236cbfed755a55ee0703a4150817de.svg\" width=\"10\" height=\"12\"\/>  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 trade-off \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0440\u0435\u0448\u0430\u0435\u043c\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u043b\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439. <\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4da\/dc7\/53e\/4dadc753ec1c2d6afa33c64530e543eb.png\" width=\"476\" height=\"149\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4da\/dc7\/53e\/4dadc753ec1c2d6afa33c64530e543eb.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0445\u043e\u0437\u044f\u0439\u0441\u0442\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0448\u0438\u0440\u043e\u043a\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 (\u0432 \u0443\u0437\u043a\u0438\u0445 \u043a\u0440\u0443\u0433\u0430\u0445) <a href=\"https:\/\/link.springer.com\/article\/10.1007\/BF00992696\" rel=\"noopener noreferrer nofollow\">REINFORCE<\/a> c advantage, \u0433\u0434\u0435 \u0438\u0437 \u043d\u0430\u0433\u0440\u0430\u0434\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(u)\" alt=\"R(u)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d1\/297\/0d6\/3d12970d66e8154e991d733a2c7509fb.svg\" width=\"41\" height=\"22\"\/>\u0434\u043b\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0434\u043b\u044f \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438, \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u_i=1\" alt=\"u_i=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3e\/db6\/414\/d3edb64141bd0c6999e9a8667d02f3f8.svg\" width=\"54\" height=\"20\"\/> , \u0435\u0441\u043b\u0438 <img class=\"formula inline\" source=\"I_{ij} > 0.5&#8243; alt=&#187;I_{ij} > 0.5&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9d6\/789\/78e\/9d678978ea606137148164e31914424e.svg&#187; width=&#187;72&#8243; height=&#187;22&#8243;\/>, \u0438\u043d\u0430\u0447\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u_i=0\" alt=\"u_i=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ac\/067\/d8d\/8ac067d8dd2911cf1a6443c9e3053a78.svg\" width=\"54\" height=\"20\"\/>. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3a1\/ed7\/be1\/3a1ed7be10a44728537bb083cac6d4a6.png\" width=\"1114\" height=\"120\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a1\/ed7\/be1\/3a1ed7be10a44728537bb083cac6d4a6.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 30 \u044d\u043f\u043e\u0445 \u043d\u0430 ImageNet (\u0442.e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e 90). \u041f\u043e\u0434\u043e\u0431\u043d\u043e Dynamic-ViT , <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{IA}-\\mathrm{RED}^2\" alt=\"\\mathrm{IA}-\\mathrm{RED}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c97\/827\/e20\/c97827e207dcef7fb14157024e8e92f7.svg\" width=\"97\" height=\"22\"\/>\u0443\u043c\u0435\u0435\u0442 \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u0442\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f. \u041a\u0430\u0440\u0442\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0431\u043e\u043b\u0435\u0435 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 attention \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8b5\/3ba\/5c9\/8b53ba5c9b96ef56ec39b1e3a2f41445.png\" width=\"1378\" height=\"1378\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b5\/3ba\/5c9\/8b53ba5c9b96ef56ec39b1e3a2f41445.png\"\/><figcaption><\/figcaption><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/61f\/a8e\/f31\/61fa8ef312163cf88af468e9d4a1629a.png\" width=\"1332\" height=\"716\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61f\/a8e\/f31\/61fa8ef312163cf88af468e9d4a1629a.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u0437\u0430\u043c\u0435\u0440\u0430\u0445 \u043d\u0430 Nvidia-V100 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 ~1.5 \u0440\u0430\u0437\u0430 \u0441 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u043e\u0439 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 0.7-0.9%. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b66\/4e6\/2d8\/b664e62d8e795d64adaa57fe8b6c8d05.png\" width=\"1350\" height=\"380\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b66\/4e6\/2d8\/b664e62d8e795d64adaa57fe8b6c8d05.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c, \u043d\u043e \u043a \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0433\u0430\u0434\u0430\u0442\u044c \u043d\u0430 \u043a\u043e\u0444\u0435\u0439\u043d\u043e\u0439 \u0433\u0443\u0449\u0435, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50a\/509\/386\/50a5093868af9c43f4a5503090f7dab5.svg\" width=\"10\" height=\"12\"\/>  \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f (\u043d\u0443 \u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0440\u0438\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432).<\/p>\n<h2>Evo-ViT<\/h2>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2108.01390\" rel=\"noopener noreferrer nofollow\">Evo-ViT<\/a> \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044f \u0421KA (Center Kernel Alignment) similarity \u043c\u0435\u0436\u0434\u0443 <code>[CLS]<\/code> \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0441\u043b\u043e\u0435 \u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u043f\u0430\u0442\u0447\u0435\u0439 \u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445, \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u0435\u043b\u0430\u044e\u0442 \u0432\u044b\u0432\u043e\u0434 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0438 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u0438\u0445 \u0432 \u0432\u0435\u0440\u0445\u043d\u0438\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0438\u0437\u0431\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442 \u043f\u0430\u0442\u0447\u0435\u0439 \u0441 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e, \u0430 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0441 \u043d\u0438\u043c\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2d1\/59e\/2de\/2d159e2de9ef228164e422e716e21503.png\" alt=\"CKA similarity \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u0438 [CLS] \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0441\u043b\u043e\u0435\" title=\"CKA similarity \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u0438 [CLS] \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0441\u043b\u043e\u0435\" width=\"808\" height=\"350\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d1\/59e\/2de\/2d159e2de9ef228164e422e716e21503.png\"\/><figcaption>CKA similarity \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u0438 [CLS] \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0441\u043b\u043e\u0435<\/figcaption><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/17b\/5c4\/1bd\/17b5c41bd917c94474f07f5fb5117931.png\" alt=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f Grad-Cam \u0438 attention c \u043a\u043b\u0430\u0441\u0441 \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 5 \u0431\u043b\u043e\u043a\u0435 (\u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438) \u0438 \u0432 10-\u043c (\u0431\u043b\u0438\u0436\u0435 \u043a \u043a\u043e\u043d\u0446\u0443). \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0449\u0435 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043e\u0431\u044c\u0435\u043a\u0442.\" title=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f Grad-Cam \u0438 attention c \u043a\u043b\u0430\u0441\u0441 \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 5 \u0431\u043b\u043e\u043a\u0435 (\u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438) \u0438 \u0432 10-\u043c (\u0431\u043b\u0438\u0436\u0435 \u043a \u043a\u043e\u043d\u0446\u0443). \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0449\u0435 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043e\u0431\u044c\u0435\u043a\u0442.\" width=\"824\" height=\"508\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/17b\/5c4\/1bd\/17b5c41bd917c94474f07f5fb5117931.png\"\/><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f Grad-Cam \u0438 attention c \u043a\u043b\u0430\u0441\u0441 \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 5 \u0431\u043b\u043e\u043a\u0435 (\u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438) \u0438 \u0432 10-\u043c (\u0431\u043b\u0438\u0436\u0435 \u043a \u043a\u043e\u043d\u0446\u0443). \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0449\u0435 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043e\u0431\u044c\u0435\u043a\u0442.<\/figcaption><\/figure>\n<p>\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_i\" alt=\"\\mathbf{x}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65b\/923\/4fe\/65b9234fe346dcd9cb59ec309734bf9c.svg\" width=\"19\" height=\"15\"\/>\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 attention \u043c\u0435\u0436\u0434\u0443  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_i\" alt=\"\\mathbf{x}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2bf\/3a0\/cb0\/2bf3a0cb0062805643cc6e246d9b9d77.svg\" width=\"19\" height=\"15\"\/> \u0438 [<code>CLS]<\/code> \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u043e\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/987\/b16\/7fc\/987b167fc77861c5158451b873be6912.svg\" width=\"10\" height=\"17\"\/> \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f &#171;\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438&#187; \u0438 \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0410 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N-k\" alt=\"N-k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/851\/003\/527\/8510035271006b702631a1eb0d4f9f6d.svg\" width=\"51\" height=\"18\"\/> \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0444\u043e\u043d\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_{\\mathrm{ph}}\" alt=\"\\mathbf{x}_{\\mathrm{ph}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab3\/7a9\/b7c\/ab37a9b7cedc1fb34a27546fd2c43641.svg\" width=\"29\" height=\"17\"\/>\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u0441 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\phi_{\\mathrm{agg}}\" alt=\"\\phi_{\\mathrm{agg}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e52\/56c\/20e\/e5256c20eba319ad1fbcd49f0861c765.svg\" width=\"34\" height=\"22\"\/>\u0430\u0433\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d &#171;\u0444\u043e\u043d\u0430&#187; <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_{\\mathrm{rep}}\" alt=\"\\mathbf{x}_{\\mathrm{rep}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee8\/e62\/8ca\/ee8e628ca3cdc44bb3694d3374125f3b.svg\" width=\"33\" height=\"17\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{x}_{\\mathrm{rep}} = \\phi_{agg} (\\mathbf{x}_{\\mathrm{ph}}) \\quad  \\phi_{agg} : \\mathbb{R}^{(N-k) \\times D} \\rightarrow \\mathbb{R}^{D}\" alt=\"\\mathbf{x}_{\\mathrm{rep}} = \\phi_{agg} (\\mathbf{x}_{\\mathrm{ph}}) \\quad  \\phi_{agg} : \\mathbb{R}^{(N-k) \\times D} \\rightarrow \\mathbb{R}^{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a85\/859\/056\/a8585905679d60798fa405137f48cdd7.svg\" width=\"345\" height=\"27\"\/><\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u043a \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0438 \u0431\u044b\u043b\u043e \u0431\u044b \u0438 \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/db4\/e89\/100\/db4e891000415c326cc0de87dd9eaabc.png\" width=\"632\" height=\"258\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db4\/e89\/100\/db4e891000415c326cc0de87dd9eaabc.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0430\u0442\u0435\u043c \u043a \u043c\u0435\u043d\u0435\u0435 \u0442\u043e\u043a\u0435\u043d\u0430\u043c \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043a\u0430 &#8212; \u0442\u043e\u043a\u0435\u043d &#171;\u0444\u043e\u043d\u0430&#187; \u043f\u043e\u0441\u043b\u0435 <strong>attention<\/strong> \u0438 <strong>feedforward <\/strong>\u0441\u043b\u043e\u0435\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/75b\/87a\/7e9\/75b87a7e9c8a4d8c060515d5657b1a12.png\" width=\"548\" height=\"76\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/75b\/87a\/7e9\/75b87a7e9c8a4d8c060515d5657b1a12.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c, \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f, \u043d\u043e \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445 \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u043b\u043e\u043a\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u0435\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{x}_{\\mathrm{rep}}\" alt=\"\\mathbf{x}_{\\mathrm{rep}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e45\/b86\/6e2\/e45b866e25027f0eb87c693392676ce5.svg\" width=\"33\" height=\"17\"\/><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/223\/b7d\/a7e\/223b7da7e10610c816b21823ec796ef2.png\" width=\"804\" height=\"1000\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/223\/b7d\/a7e\/223b7da7e10610c816b21823ec796ef2.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435, Evo-ViT \u043f\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u043e\u043c \u0436\u0435 throughput \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{IA}-\\mathrm{RED}^2\" alt=\"\\mathrm{IA}-\\mathrm{RED}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/796\/c29\/d76\/796c29d76e8f267b549d4cde15fc40ea.svg\" width=\"97\" height=\"22\"\/> \u0438 Dynamic-ViT. \u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 \u043d\u0443\u043b\u044f \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 300 \u044d\u043f\u043e\u0445 \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 DynamicViT \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{IA}-\\mathrm{RED}^2\" alt=\"\\mathrm{IA}-\\mathrm{RED}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/56d\/181\/180\/56d181180fc882da82ffd75ad1a260b3.svg\" width=\"97\" height=\"22\"\/>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0445 \u043f\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0420\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u043d\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435\/\u043d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0442\u043e\u0436\u0435 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bc3\/a00\/cec\/bc3a00cecc006f7c0d7c5c99ac6ca4f1.png\" width=\"1704\" height=\"494\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc3\/a00\/cec\/bc3a00cecc006f7c0d7c5c99ac6ca4f1.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0437 ablation \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0440\u0438\u044f \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0430\u044f \u043d\u0430 \u0444\u043e\u043d\/\u043e\u0431\u044c\u0435\u043a\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f, \u0438\u043b\u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 attention c \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/97e\/e47\/c9a\/97ee47c9a64df5e033171a9d246a6bca.png\" width=\"802\" height=\"358\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97e\/e47\/c9a\/97ee47c9a64df5e033171a9d246a6bca.png\"\/><figcaption><\/figcaption><\/figure>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0443\u043d\u0438\u043d\u0433 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 &#8212; \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432, \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438 \u0441\u0436\u0430\u0442\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u041a\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043e\u0442 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0442\u0430\u043a \u043a\u0430\u043a \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0438\u043b\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0437\u0430\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043d\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0436\u0435\u043b\u0435\u0437\u0435. <\/p>\n<h2>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/h2>\n<ul>\n<li>\n<p><a href=\"https:\/\/youtu.be\/iDulhoQ2pro\" rel=\"noopener noreferrer nofollow\">\u041b\u0435\u0433\u0435\u043d\u0434\u0430\u0440\u043d\u043e\u0435 \u0432\u0438\u0434\u0435\u043e \u043f\u0440\u043e Attention Is All You Need<\/a> \u043e\u0442 Yannic Kilcher<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/jalammar.github.io\/illustrated-transformer\" rel=\"noopener noreferrer nofollow\">The Illustrated Transformer by Jay Alammar<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/kssteven418\/LTP\" rel=\"noopener noreferrer nofollow\">Learned Token Pruning for Transformers<\/a> (GitHub)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/VITA-Group\/SViTE\" rel=\"noopener noreferrer nofollow\">S-ViTE<\/a> (GitHub)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/raoyongming\/DynamicViT\" rel=\"noopener noreferrer nofollow\">DynamicViT <\/a>(GitHub)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/YifanXu74\/Evo-ViT\" rel=\"noopener noreferrer nofollow\">Evo-ViT<\/a> (GitHub)<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/people.csail.mit.edu\/bpan\/ia-red\/\" rel=\"noopener noreferrer nofollow\">IA-RED^2<\/a> (\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u0430)<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/679782\/\"> https:\/\/habr.com\/ru\/post\/679782\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435<\/h2>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043f\u0440\u0438\u0435\u0432\u0448\u0435\u0439\u0441\u044f, \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u043e\u0439, \u043a\u043b\u0438\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0444\u0440\u0430\u0437\u044b, \u043c\u043e\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0449\u0435\u0439 \u0441\u0436\u0430\u0442\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439:<\/p>\n<blockquote>\n<p>\u0417\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0432 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u0438 \u0441\u0444\u0435\u0440\u0430\u0445 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 (\u0438 \u043d\u0435\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439) \u0434\u0435\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f \u0434\u0430\u0436\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043d\u0430 \u0440\u044f\u0434\u0435 \u0437\u0430\u0434\u0430\u0447. \u041d\u043e \u043c\u043e\u0449\u044c \u0438 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0444\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043a\u0430\u043a \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u0438 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435, \u0447\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0430 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0438 \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. <\/p>\n<\/blockquote>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e \u043c\u0435\u0440\u0435 \u0431\u0443\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 \u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0438\u0434\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043f\u043e \u0441\u0436\u0430\u0442\u0438\u044e \u0438 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2003.03033\" rel=\"noopener noreferrer nofollow\">\u041f\u0440\u0443\u043d\u0438\u043d\u0433<\/a> (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438 \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439)  &#8212; <a href=\"https:\/\/habr.com\/ru\/post\/575520\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0435\u0431\u044f<\/a> \ud83d\ude42<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2103.13630\" rel=\"noopener noreferrer nofollow\">\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435<\/a> (\u0438\u043b\u0438 \u0435\u0441\u043b\u0438 \u0443\u0433\u043e\u0434\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1503.02531\" rel=\"noopener noreferrer nofollow\">\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f<\/a> (Knowledge distillation)<\/p>\n<\/li>\n<li>\n<p>\u041d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f (\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a <a href=\"https:\/\/arxiv.org\/abs\/1511.06067\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430\u043c<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2006.04768\" rel=\"noopener noreferrer nofollow\">self-attention<\/a>)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1912.03647\" rel=\"noopener noreferrer nofollow\">Tensor-train \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f<\/a><\/p>\n<\/li>\n<li>\n<p>\u0438 \u043c\u043d\u043e\u0433\u043e-\u043c\u043d\u043e\u0433\u043e \u0432\u0441\u044f\u043a\u043e\u0439 \u0432\u0441\u044f\u0447\u0438\u043d\u044b.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a\u0438\u0435-\u0442\u043e \u0438\u0437 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b \u0432 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 &#8212; \u0442\u0438\u043f\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438, \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0434\u0440\u0443\u0433\u0438\u0445 (\u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439) \u0436\u0435 (\u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433) \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0438. \u0420\u0430\u0437\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0436\u043d\u043e <a href=\"https:\/\/neuralmagic.com\/blog\/benchmark-yolov5-on-cpus-with-deepsparse\/\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/a> \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c. <\/p>\n<h2>\u041f\u0440\u0443\u043d\u0438\u043d\u0433 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/h2>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 <a href=\"https:\/\/www.youtube.com\/redirect?event=video_description&amp;redir_token=QUFFLUhqbjg4ODAwbXlkYjNXWWF4dXhQTFYwSENqZFdMZ3xBQ3Jtc0tuT0tlZUctZ1NfaEhXbW5ZZ2lhaFlFT1RVX3VnVzR3N3Y1RkVpSUJjeGhnOVBpd0txQ0xPaXFaR0dDZzM4TmFOUEdtNEliZWU0NElKUDBOZXk0dktmS05BUFdkMzh3cFlERzZzLW1YZEdoVWZmQVl5NA&amp;q=https%3A%2F%2Farxiv.org%2Fabs%2F1706.03762&amp;v=iDulhoQ2pro\" rel=\"noopener noreferrer nofollow\">Transformer<\/a>, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u0432\u043e\u0435\u0439 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u044b\u043b\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u0432\u043e \u0432\u0441\u0435\u0445 (\u0438\u043b\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0445) \u0441\u0444\u0435\u0440\u0430\u0445 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0431\u0443\u0434\u044c \u0442\u043e \u0442\u0435\u043a\u0441\u0442, \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438, \u0437\u0432\u0443\u043a, \u0438\u043b\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u0438 <strong>attention<\/strong>, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c, \u0438 <strong>feedforward <\/strong>\u0441\u043b\u043e\u0438, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0449\u0438\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. <\/p>\n<figure class=\"full-width\"><figcaption>(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 Attention (\u0426\u0435\u043d\u0442\u0440) \u0410\u0433\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0421\u043f\u0440\u0430\u0432\u0430) \u0411\u043b\u043e\u043a \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430\/\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435<\/figcaption><\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u0445\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a , i-\u044b\u0439 \u0442\u043e\u043a\u0435\u043d &#8212; .  \u0441\u043e\u043e\u0442\u0432\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043d\u044c\u043d\u043e\u0441\u0442\u044f\u043c query, key, value. &#8212; \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0422\u043e\u043a\u0435\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u043e\u0432\u043e\u043c (\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044c\u044e \u0441\u043b\u043e\u0432\u0430) \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438, \u0438\u043b\u0438 \u043f\u0430\u0442\u0447\u0435\u043c \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 (\u0440\u0430\u0437\u043c\u0435\u0440\u0430 8&#215;8, 16&#215;16, 32&#215;32). \u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u0430\u0436\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043a\u0430\u043a \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 sentiment analysis, \u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0430\u0441\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u0443\u044e \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u043a\u0440\u0430\u0441\u043a\u0443 \u0438\u043c\u0435\u0435\u0442 \u043e\u0442\u0437\u044b\u0432, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0441\u043b\u043e\u0432\u0430, \u0438 \u0435\u0441\u043b\u0438 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043a\u0430\u043a\u043e\u0435 \u0436\u0438\u0432\u043e\u0442\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u043e  \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 &#8212; \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0438\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u043b\u0438 \u043a\u0443\u0441\u0442\u0430 \u0432\u0440\u044f\u0434 \u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043d\u0430\u0448 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<figure class=\"full-width\"><figcaption>(\u0421\u043b\u0435\u0432\u0430) \u041f\u0440\u0438\u043c\u0435\u0440 \u043e\u0442\u0437\u044b\u0432\u0430 \u043d\u0430 \u0444\u0438\u043b\u044c\u043c (\u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u043e\u0434\u0441\u0432\u0435\u0447\u0435\u043d\u043e \u0437\u0435\u043b\u0435\u043d\u044b\u043c).   (\u0421\u043f\u0440\u0430\u0432\u0430) \u041f\u0430\u0442\u0447\u0438 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u0441\u043e\u0431\u0430\u043a\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043a\u0440\u0430\u0441\u043d\u044b\u043c.<\/figcaption><\/figure>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0441\u043b\u043e\u044f\u043c\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0438 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p>\u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u0438\u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u0438\u0447\u0435\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043e\u0442 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432  \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 query, key, value, \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 feedforward \u0441\u043b\u043e\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0432 \u043f\u043b\u0430\u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 , \u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f attention \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430 \u043f\u043e .<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 1 \u0440\u0430\u0431\u043e\u0442\u0430 \u0438\u0437 NLP \u043f\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438 4 \u0438\u0437 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f.<\/p>\n<h2>Learned Token Pruning for Transformers<\/h2>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP) \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2107.00910\" rel=\"noopener noreferrer nofollow\">Learned Token Pruning for Transformers<\/a>.<\/p>\n<figure class=\"full-width\"><figcaption>(\u0421\u043b\u0435\u0432\u0430) \u0421\u0445\u0435\u043c\u0430 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u043b\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Sentiment Analysis.  (\u0421\u043f\u0440\u0430\u0432\u0430) Attention \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u043e\u0441\u043e\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0411\u043e\u043b\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0431\u043e\u043b\u0435\u0435 \u0442\u0435\u043c\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c.  <\/figcaption><\/figure>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0439 attention \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0433\u043e\u043b\u043e\u0432\u0430\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430:<\/p>\n<p>\u0412\u044b\u0448\u0435 &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 -\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443, &#8212; \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f -\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u0438 -\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, &#8212; \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438 &#8212; \u0447\u0438\u0441\u043b\u043e \u0433\u043e\u043b\u043e\u0432 \u0432 multi-head attention. <\/p>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0432 \u0412\u0430\u043b\u044c\u0433\u0430\u043b\u043b\u0443, \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043d\u0435\u0445\u0438\u0442\u0440\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u043e\u0433 , \u0442\u0430\u043a\u043e\u0439 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430, \u0442\u043e \u0442\u043e\u043a\u0435\u043d \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f, \u0430 \u0438\u043d\u0430\u0447\u0435 \u043f\u043e\u043a\u0438\u0434\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u043c\u0438\u0440. \u0424\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u044f \u0438\u043d\u0430\u0447\u0435, \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u0430\u044f \u043c\u0430\u0441\u043a\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430:<\/p>\n<p> \\theta^{(l)} \\\\ 0 &amp; \\mathrm{else} \\end{cases}&#187; alt=&#187;M^{(l)}(\\mathbf{x}_i)  = \\begin{cases}1 &amp; \\mathrm{if} \\  s^{(l)}(\\mathbf{x}_i) > \\theta^{(l)} \\\\ 0 &amp; \\mathrm{else} \\end{cases}&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/439\/d34\/685\/439d3468534d668138444542a4cf7739.svg&#187; width=&#187;278&#8243; height=&#187;50&#8243;\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0442\u043e\u043a\u0435\u043d \u0432 \u0441\u043b\u043e\u0435  \u0437\u0430\u043f\u0440\u0443\u043d\u0435\u043d, \u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u0441 \u043d\u0438\u043c \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043a\u0430\u043a \u0432 \u0441\u043b\u043e\u0435 , \u0442\u0430\u043a \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0437\u0430 \u043d\u0438\u043c.<\/p>\n<h4>\u041e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043f\u043e\u0440\u043e\u0433<\/h4>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442: \u0430 \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 ? \u041e\u043d  \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0431\u043b\u043e\u043a\u0430 , \u043e\u0442 \u043f\u043e\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0438 \u043e\u0442 \u0441\u0430\u043c\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u043e\u0440\u043e\u0433 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c. \u041d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043f\u043e\u0440\u043e\u0433, \u044f\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0432 \u0441\u0432\u044f\u0437\u0438 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0440\u043e\u0433\u0443 \u043d\u0435\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u043d\u0430 hard pruning \u043d\u0430 soft pruning, \u043a\u043e\u0433\u0434\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u0438, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e , \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u043b\u044e\u0431\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0442 0 \u0434\u043e 1. \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u0430\u0441\u043a\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0430 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u043e\u0439 :<\/p>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0437\u043a\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 0 \u043a 1. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0442\u0447\u0438 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438, \u043d\u043e \u0438\u0445 \u0432\u043a\u043b\u0430\u0434 \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e \u0432 \u043d\u043e\u043b\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. <\/p>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u043e\u0439 \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0432 3 \u044d\u0442\u0430\u043f\u0430:<\/p>\n<ol>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 soft \u043c\u0430\u0441\u043a\u043e\u0439 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0435\u0442\u0438 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u043e\u0432 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u043c\u0430\u0441\u043a\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u043f\u043e\u0440\u043e\u0433\u043e\u0432 \u0438 hard \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. <\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043a \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c (\u0441\u043a\u0430\u0436\u0435\u043c, \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438) \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0447\u043b\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 soft \u043c\u0430\u0441\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432:<\/p>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 trade-off \u043c\u0435\u0436\u0434\u0443 \u0436\u0435\u043b\u0430\u043d\u0438\u0435\u043c \u0440\u0435\u0448\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<h4>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h4>\n<p>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u0441\u044f \u043d\u0430 \u0440\u044f\u0434\u0435 \u0437\u0430\u0434\u0430\u0447 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 &#8212; <code>MNLI, MNLI-m, QQP, QNLI, SST-2, SST-B, MRPC, RTE<\/code>. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <code>RoBERTa-Base<\/code>. <\/p>\n<figure class=\"full-width\"><figcaption>\u0412\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f LTP \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u043e\u0434 Speedup \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 FLOPs \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0441 \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432. <\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0434\u0430\u0435\u0442\u0441\u044f  \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2 \u0440\u0430\u0437\u0430 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 FLOPs. \u041e\u0434\u043d\u0430\u043a\u043e, \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 FLOPs \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0442\u0440\u0443\u0434\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b \u0446\u0438\u0444\u0440\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 \u0421PU\/GPU. \u0418 \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043d\u0438\u0436\u0435, \u0437\u0430 \u0441\u0447\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 (\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0442\u043e\u0439 \u0436\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043d\u043e \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0438\u043b\u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u043e\u043c). <\/p>\n<figure class=\"full-width\"><figcaption>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0430) \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 QNLP, QQP \u043d\u0430 CPU (Intel Haswell) \u0438 GPU (Nvidia V100). <\/figcaption><\/figure>\n<ul>\n<li>\n<p>\u041a \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0443 \u0438 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0430, \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. <\/p>\n<\/li>\n<li>\n<p>\u041a \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c \u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u043d\u0435\u0432\u043e\u0437\u0436\u043e\u043c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0436\u0435\u043b\u0430\u0435\u043c\u0443\u044e \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f  \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0438\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u043c, \u043d\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u0430\u043a\u0438\u043c \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438, \u0441\u043a\u0430\u0436\u0435\u043c, \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 2 \u0440\u0430\u0437\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 . \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043e\u0442 \u0442\u043e\u0433\u043e \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0438\u043b\u0438 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d attention. \u0422\u043e \u0435\u0441\u0442\u044c speedup \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434. <\/p>\n<\/li>\n<\/ul>\n<h2>Dynamic-ViT<\/h2>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435<a href=\"https:\/\/arxiv.org\/abs\/2106.02034\" rel=\"noopener noreferrer nofollow\"> Dynamic-ViT<\/a> (\u0443\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f) \u043e\u0442\u0431\u043e\u0440 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0438 \u043d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0430 \u0432\u0445\u043e\u0434 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0432\u044b\u0434\u0430\u044e\u0449\u0435\u0439 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u043e \u0432\u0441\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 &#8212; \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 , \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u0430  \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0435\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u044e  \u0438 , \u043a \u0432\u044b\u0445\u043e\u0434\u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f  (\u0445\u043e\u0442\u044f \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443):<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0438 , c\u043e\u043e\u0442\u0432\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u041d\u043e \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0442\u043e\u0433\u0434\u0430 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e, \u0435\u0441\u043b\u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u0435 &#8212; \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0435\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430\u044f? \u0418 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u0434\u0438\u043d \u0438\u0437 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0441\u044d\u043f\u043c\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u0440\u043e\u0441\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0447\u0435\u0440\u0435\u0437 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f &#8212; <a href=\"https:\/\/arxiv.org\/abs\/1611.01144\" rel=\"noopener noreferrer nofollow\">GumbelSoftmax<\/a>. <\/p>\n<h4>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/h4>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043f\u0440\u0443\u043d\u0438\u043d\u0433\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0438 \u0434\u043b\u044f \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043f\u0440\u043e\u0440\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f, \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 3 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u043b\u0435\u043d\u0430 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c (\u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e):<\/p>\n<ul>\n<li>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0441 \u043d\u0435\u0437\u0430\u043f\u0440\u0443\u043d\u0435\u043d\u043d\u044b\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 \u0434\u043b\u044f i-\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 -\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e \u0437\u0430\u043c\u044b\u0441\u043b\u0443 \u0434\u043e\u043b\u0436\u043d\u044b \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0442\u0443 \u0436\u0435 \u0441\u0430\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0447\u0442\u043e \u0438 \u043f\u0440\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043a\u0435 \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<ul>\n<li>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0441 \u043b\u043e\u0433\u0438\u0442\u0430\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0432 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438).<\/p>\n<\/li>\n<\/ul>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<ul>\n<li>\n<p>MSE Loss, \u0443\u0441\u0442\u0440\u0435\u043c\u043b\u044f\u044e\u0449\u0438\u0439 \u0434\u043e\u043b\u044e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c\u044b\u0445 \u043f\u0430\u0442\u0447\u0435\u0439 \u043a \u0446\u0435\u043b\u0435\u0432\u043e\u043c\u0443 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044e :<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043b\u043e\u0441\u0441 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u043e\u0439 \u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439) \u043b\u043e\u0441\u0441\u043e\u0432:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0432 -\u043e\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443 \u0431\u043b\u043e\u043a\u0435 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0445<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-336340","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/336340","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=336340"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/336340\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=336340"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=336340"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=336340"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}