{"id":337409,"date":"2022-08-23T09:00:32","date_gmt":"2022-08-23T09:00:32","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=337409"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=337409","title":{"rendered":"<span>\u042d\u043a\u0437\u0438\u0431\u0438\u0442, \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u0439 \u043c\u043e\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0438\u043b\u0438 \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0434\u0435\u0438 \u043f\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0441 2018 \u043f\u043e 2020 \u0433\u043e\u0434 (\u0447\u0430\u0441\u0442\u044c 1)<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u0438\u044e\u043d\u0435 2021 \u0433\u043e\u0434\u0430 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f <a href=\"https:\/\/arxiv.org\/abs\/2106.04554\"><u>\u201cA Survey of Transformers\u201d<\/u><\/a> &#8212; \u043e\u0431\u0437\u043e\u0440 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u201c\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u201d \u043f\u043e\u0441\u043b\u0435 \u0435\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0435 \u201c<a href=\"https:\/\/arxiv.org\/abs\/1706.03762\"><u>Attention is all you need<\/u><\/a>\u201d.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u0435\u043d \u0441\u0435\u0439\u0447\u0430\u0441. \u041f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438\u0445 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u0443\u0436\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442 \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u0438 \u0441\u043b\u0430\u0431\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u0445\u043e\u0442\u044f\u0442 \u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c. \u041c\u043d\u043e\u0433\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u0435\u0439\u0447\u0430\u0441, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0440\u043e\u0434\u0438\u0432\u0448\u0435\u0435\u0441\u044f \u0432 \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u0433\u043e\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0432 \u0431\u043b\u043e\u0433\u0435 \u041b\u0410\u041d\u0418\u0422 \u043e\u0431\u0437\u043e\u0440 \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2106.04554\"><u>\u201cA Survey of Transformers\u201d<\/u><\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/7e5\/6df\/12f\/7e56df12fa9cf94f7a656ac63c250989.jpeg\" width=\"1112\" height=\"630\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7e5\/6df\/12f\/7e56df12fa9cf94f7a656ac63c250989.jpeg\" data-blurred=\"true\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u043e \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u043c\u0435\u0440\u043e\u0432 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u0443\u0436\u0435 \u043d\u0435 \u043e\u0434\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0434\u0430\u0436\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/habr.com\/ru\/post\/486358\/\"><u>Transformer \u0432 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445<\/u><\/a>. \u0418\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0443\u0440\u0441\u044b <a href=\"https:\/\/lena-voita.github.io\/nlp_course.html\"><u>\u041b\u0435\u043d\u044b \u0412\u043e\u0439\u0442\u044b<\/u><\/a> \u0438\u043b\u0438 <a href=\"https:\/\/ods.ai\/tracks\/nlp-course-spring-22\"><u>\u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u041c\u0430\u043b\u044b\u0445<\/u><\/a>.\u00a0<\/p>\n<p>\u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u201cA Survey of Transformers\u201d \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442 \u043e\u0431 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u0430\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430. \u042f \u0442\u043e\u0436\u0435 \u0442\u0435\u0437\u0438\u0441\u043d\u043e \u0438\u0445 \u043e\u0442\u0440\u0430\u0436\u0443 \u0432 \u0441\u0432\u043e\u0435\u043c \u043f\u043e\u0441\u0442\u0435.\u00a0\u00a0<\/p>\n<h4>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e (\u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e) \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430<\/h4>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0430\u0441\u0442\u0435\u0439 \u0441\u043b\u043e\u0432. \u041a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440 \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u043c, \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u043c \u043e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445, \u0430 \u043b\u0438\u0448\u044c \u043e\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u043e\u0433\u043e \u043d\u043e\u043c\u0435\u0440\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u044d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u0432\u0441\u0435 \u0432\u0440\u0435\u043c\u044f \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b.<\/p>\n<p>\u0421\u0430\u043c\u044b\u043c \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0440\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0442\u0440\u0435\u043c\u044f \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438. \u041e\u0434\u0438\u043d \u0438\u0437 \u044d\u0442\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f query &#8212; \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0447\u0438\u0442\u0441\u044f \u201c\u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c\u201d \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u043d\u0443\u0436\u043d\u043e\u0439 \u0435\u043c\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0414\u0440\u0443\u0433\u043e\u0439 &#8212; key &#8212; \u0443\u0447\u0438\u0442\u0441\u044f \u201c\u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c\u201d, \u043a\u0430\u043a \u0434\u0430\u0442\u044c \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c, \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c \u0446\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043d\u0438\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u0438 value &#8212; \u0442\u0430 \u0441\u0430\u043c\u0430\u044f \u0446\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438.\u00a0<\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 query \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 key \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0447\u0435\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <em>l<\/em>x<em>l<\/em>, \u0433\u0434\u0435 <em>l<\/em> &#8212; \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u0414\u0430\u043b\u0435\u0435 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043a\u0430\u0436\u0434\u043e\u0433\u043e query \u043c\u044b \u0438\u043c\u0435\u0435\u043c <em>l<\/em> \u0435\u0433\u043e \u201c\u0441\u0432\u044f\u0437\u0435\u0439\u201d \u0441 key \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 softmax, \u0447\u0442\u043e\u0431\u044b \u0432\u043c\u0435\u0441\u0442\u0435 \u043e\u043d\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432 1. \u042d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0432\u0435\u0441\u0430, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u044b \u0437\u0430\u0442\u0435\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c value \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e query \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0412 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Attention(Q, K,V) = softmax(\\frac{QK^T}{\\sqrt{D_k}})V=AV\" alt=\"Attention(Q, K,V) = softmax(\\frac{QK^T}{\\sqrt{D_k}})V=AV\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/07c\/c0a\/7e6\/07cc0a7e6be981e11bf4679dc0170f30.svg\" width=\"336\" height=\"45\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"A= softmax(\\frac{QK^T}{\\sqrt{D_k}})\" alt=\"A= softmax(\\frac{QK^T}{\\sqrt{D_k}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ab\/9fc\/f0a\/3ab9fcf0a8702e3f2ec737ac5b91448c.svg\" width=\"152\" height=\"45\"\/><\/p>\n<p>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 A \u043a\u0430\u043a \u0440\u0430\u0437 \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 <em>l<\/em>x<em>l<\/em>, \u0432\u044b\u0440\u0430\u0436\u0430\u044e\u0449\u0435\u0439 \u0442\u043e, \u043a\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432\u043e\u0437\u044c\u043c\u0435\u0442 \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u043e\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u0441\u043b\u043e\u044f\u0445 \u0441\u0435\u0442\u0438.<\/p>\n<p>\u0421 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0435\u0439 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e multihead-\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0417\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u043d\u0430 \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u043c \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u043e\u0435\u0432 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0435\u043c \u0441\u0442\u044b\u043a\u0443\u044e\u0442\u0441\u044f \u0432 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043a \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0443.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"MultiHeadAttn(Q,K,V)=Concat(head_1,...,head_H)W^O,\" alt=\"MultiHeadAttn(Q,K,V)=Concat(head_1,...,head_H)W^O,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04a\/3d2\/838\/04a3d2838d5e6ebdadf6dddc46b0dc4f.svg\" width=\"424\" height=\"22\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"where head_i=Attention(QW_i{^Q},KW_i{^K},VW_i{^V}).\" alt=\"where head_i=Attention(QW_i{^Q},KW_i{^K},VW_i{^V}).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7e\/de3\/99f\/a7ede399f323a3b4852f13181b4c1312.svg\" width=\"343\" height=\"22\"\/><\/p>\n<p>\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f &#8212; \u044d\u0442\u043e position-wise feed forward network, \u0435\u0449\u0435 \u043e\u0434\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0438\u043b\u0438 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043a \u0434\u0430\u043d\u043d\u044b\u043c, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0435\u0432 \u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u044d\u0442\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"FFN(H')=ReLU(H'W^1+b^1)W^2+b^2\" alt=\"FFN(H')=ReLU(H'W^1+b^1)W^2+b^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/56d\/feb\/50b\/56dfeb50be0b5572d8f595d63cdce00a.svg\" width=\"287\" height=\"22\"\/><\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0435\u0441\u0442\u044c residual-\u0441\u0432\u044f\u0437\u0438, \u0442.\u0435. \u0441\u0432\u044f\u0437\u0438 \u0432 \u043e\u0431\u0445\u043e\u0434 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u043e\u0435\u0432, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 position-wise \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0431\u0440\u043e\u0441\u0430 \u0438 \u0441\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0441 \u0442\u0435\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0435\u0440\u0435\u0437 \u044d\u0442\u0438 \u0441\u043b\u043e\u0438 \u043f\u043e\u0448\u043b\u0438, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f Layer-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f &#8212; \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0435\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0435\u0449\u0435 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0438 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"H'=LayerNorm(SelfAttantion(X)+X)\" alt=\"H'=LayerNorm(SelfAttantion(X)+X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/298\/8b3\/650\/2988b3650e28fec4c1a0045bf6f17041.svg\" width=\"304\" height=\"21\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"H'=LayerNorm(FFN(H')+H')\" alt=\"H'=LayerNorm(FFN(H')+H')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce3\/4db\/5f4\/ce34db5f486bbfefa88e99c30d145252.svg\" width=\"251\" height=\"21\"\/><\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0441\u0435\u0442\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0441\u0432\u044f\u0437\u0430\u043d \u0441 \u043d\u0430\u043b\u0438\u0447\u0438\u0435\u043c \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u043a \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u0438 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0442\u0430\u043a \u0438\u043b\u0438 \u0438\u043d\u0430\u0447\u0435 \u0431\u044b\u043b\u0430 \u043d\u0430\u0446\u0435\u043b\u0435\u043d\u0430 \u043d\u0430 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u043a\u0430\u0441\u0430\u043b\u043e\u0441\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0435\u0433\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f<\/h4>\n<p>\u0421\u0430\u043c\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u043d\u0443\u0435\u0442\u0441\u044f \u201c\u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c\u201d \u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0438 \u0441\u0432\u044f\u0437\u0435\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u044d\u0442\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u043e\u0433\u0434\u0430 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 \u0433\u0440\u0430\u0444\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438.<\/p>\n<ul>\n<li>\n<p><strong>Global<\/strong> &#8212; \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u0435\u0434\u0443\u0449\u0438\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0435\u0440\u0443\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0443 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u0434\u0430\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432\u0441\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c. \u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0436\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043d\u0435 \u0434\u0435\u043b\u044f\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>Band \u0438\u043b\u0438 local<\/strong> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u043b\u0438\u0448\u044c \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043a\u043d\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430\u0437\u0430\u0434 \u0438 \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u043f\u0435\u0440\u0435\u0434).<\/p>\n<\/li>\n<li>\n<p><strong>Dilated<\/strong> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043a\u043d\u0435, \u043d\u043e \u0441 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0430\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0430, \u0447\u0435\u0442\u044b\u0440\u0435 \u0438 \u0448\u0435\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043b\u0435\u0432\u043e \u0438 \u0432\u043f\u0440\u0430\u0432\u043e).<\/p>\n<\/li>\n<li>\n<p><strong>Random<\/strong> &#8212; \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>Block local<\/strong> &#8212; \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0431\u043b\u043e\u043a\u0430\u043c\u0438. \u0422\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u044f\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c, \u0432\u0442\u043e\u0440\u044b\u0435 \u043f\u044f\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (\u0441 \u043f\u044f\u0442\u043e\u0433\u043e \u043f\u043e \u0434\u0435\u0441\u044f\u0442\u044b\u0439) \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0438 \u0442. \u0434.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cdc\/8ec\/874\/cdc8ec8744ae3a7b4f7a372f139e0d4f.png\" alt=\"\u0412\u0438\u0434\u044b \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\" title=\"\u0412\u0438\u0434\u044b \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\" width=\"1487\" height=\"487\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdc\/8ec\/874\/cdc8ec8744ae3a7b4f7a372f139e0d4f.png\"\/><figcaption>\u0412\u0438\u0434\u044b \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/figcaption><\/figure>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0436\u0435 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432.\u00a0<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Star-Transformer (<a href=\"https:\/\/aclanthology.org\/N19-1133\/\"><u>https:\/\/aclanthology.org\/N19-1133\/<\/u><\/a>) \u0438 Longformer (<a href=\"https:\/\/arxiv.org\/abs\/2004.05150\"><u>https:\/\/arxiv.org\/abs\/2004.05150<\/u><\/a>) \u0438 ETC (<a href=\"https:\/\/aclanthology.org\/2020.emnlp-main.19\/\"><u>https:\/\/aclanthology.org\/2020.emnlp-main.19\/<\/u><\/a>) \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 global \u0438 local \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>BigBird (<a href=\"https:\/\/arxiv.org\/abs\/2007.14062\"><u>https:\/\/arxiv.org\/abs\/2007.14062<\/u><\/a>) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 global, local \u0438 random.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e34\/f35\/94a\/e34f3594aa7eba0e3edbd0680aadafc9.png\" alt=\"\u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432\" title=\"\u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432\" width=\"1483\" height=\"401\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e34\/f35\/94a\/e34f3594aa7eba0e3edbd0680aadafc9.png\"\/><figcaption>\u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u0438 \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u0430\u043c\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0434\u043b\u0438\u043d\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0435\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0441\u0435\u0442\u0438.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0438\u0434 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0438\u043c\u0435\u043d\u0443\u0435\u0442\u0441\u044f extended, \u0442.\u0435. \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439. \u042d\u0442\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0438 \u0447\u0435\u0440\u0435\u0437 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u044b\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b.<\/p>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e (\u0432 BP-Transformer: <a href=\"https:\/\/arxiv.org\/abs\/1911.04070\"><u>https:\/\/arxiv.org\/abs\/1911.04070<\/u><\/a>) \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/417\/db5\/658\/417db5658977442cccc09e4367ad209d.png\" alt=\"\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e (Binary partitioning (BP)\u00a0 Transformer(T))\" title=\"\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e (Binary partitioning (BP)\u00a0 Transformer(T))\" width=\"337\" height=\"186\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/417\/db5\/658\/417db5658977442cccc09e4367ad209d.png\"\/><figcaption>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e (Binary partitioning (BP)\u00a0 Transformer(T))<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 span nodes. \u041e\u043d\u0438 \u043a\u0430\u043a \u0431\u044b \u044d\u043a\u0440\u0430\u043d\u0438\u0440\u0443\u044e\u0442 \u0441\u0432\u043e\u0438 \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0435 \u0443\u0437\u043b\u044b, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044f \u0432\u0441\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u0435\u0431\u044f. \u0427\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u043c \u043f\u043e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0438 \u0443\u0437\u043b\u0430\u043c \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u043e \u0441\u0435\u0431\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0430 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442.<\/p>\n<p>\u0423 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0432\u043e\u0438 \u0445\u0430\u043a\u0438 (<a href=\"http:\/\/proceedings.mlr.press\/v80\/parmar18a.html\"><u>http:\/\/proceedings.mlr.press\/v80\/parmar18a.html<\/u><\/a>). \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043f\u043e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0441\u0432\u044f\u0437\u0435\u0439 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f: block local \u0438 axial. \u0412 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0435\u0439 \u0438\u0434\u0435\u0442 \u0434\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0438\u0437 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0439 \u0432 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u0443\u044e. \u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0430, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 &#8212; \u043f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u0438 \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u043c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0438\u043a\u0441\u0435\u043b\u044f.\u00a0<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1ec\/10f\/1ac\/1ec10f1ac71c12162e0adf53ba85f850.png\" alt=\"\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\" title=\"\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\" width=\"397\" height=\"215\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ec\/10f\/1ac\/1ec10f1ac71c12162e0adf53ba85f850.png\"\/><figcaption>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/figcaption><\/figure>\n<h4>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0438 (Content-based Sparse attention)\u00a0<\/h4>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0446\u0435\u043b\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0430 &#8212; \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043a\u043b\u044e\u0447\u0438 (key) \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c (query), \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f \u0432\u0441\u0435\u0445 \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0445 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u043a\u0430\u043a \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0432 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0438. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043f\u043e\u0434 \u043e\u0431\u0449\u0438\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c Maximum Inner Product Search (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Maximum_inner-product_search\"><u>https:\/\/en.wikipedia.org\/wiki\/Maximum_inner-product_search<\/u><\/a>). \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438 \u043f\u0440\u043e\u0449\u0435: \u0432 Rounting Transformer (<a href=\"https:\/\/arxiv.org\/abs\/2003.05997\"><u>https:\/\/arxiv.org\/abs\/2003.05997<\/u><\/a>) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f K-means \u0434\u043b\u044f key \u0438 query \u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043a\u043b\u044e\u0447\u0438, \u043c\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0432 \u043a\u0430\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043e\u043d \u043f\u043e\u043f\u0430\u043b \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043b\u0438\u0448\u044c \u0441 \u0442\u0435\u043c\u0438 \u043a\u043b\u044e\u0447\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442 \u044d\u0442\u043e\u043c\u0443 \u0436\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443. \u0412 Reformer \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0445\u043e\u0436\u0438\u0439, \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043c\u0435\u0441\u0442\u043e K-means \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Locality Sensitivity Hashing (<a href=\"https:\/\/ru.wikipedia.org\/wiki\/Locality-sensitive_hashing\"><u>https:\/\/ru.wikipedia.org\/wiki\/Locality-sensitive_hashing<\/u><\/a>), \u0442\u0430 \u0436\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u043e\u0434\u0435: \u0434\u043b\u044f \u0431\u043b\u0438\u0437\u043a\u0438\u0445 query \u0438 key \u0431\u0443\u0434\u0443\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0445\u044d\u0448\u0438.<\/p>\n<p>\u0415\u0449\u0435 \u0434\u0432\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0432 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#8212; \u044d\u0442\u043e Sparse Adaptive Connection (<a href=\"https:\/\/proceedings.neurips.cc\/paper\/2020\/hash\/c5c1bda1194f9423d744e0ef67df94ee-Abstract.html\"><u>https:\/\/proceedings.neurips.cc\/paper\/2020\/hash\/c5c1bda1194f9423d744e0ef67df94ee-Abstract.html<\/u><\/a>) \u0438 Sparse Sinkhorn Attention (<a href=\"http:\/\/proceedings.mlr.press\/v119\/tay20a.html\"><u>http:\/\/proceedings.mlr.press\/v119\/tay20a.html<\/u><\/a>). \u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 LSTM-\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0430\u0440 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0441\u0432\u044f\u0437\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c. \u0412\u0442\u043e\u0440\u043e\u0439 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u043a\u043b\u044e\u0447\u0438 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430, \u0431\u043b\u043e\u043a\u0438. \u0417\u0430\u0442\u0435\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Sinkhorn-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u0430\u043a\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u0432\u044f\u0437\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u043b\u043e\u043a \u043a\u043b\u044e\u0447\u0435\u0439 \u0431\u044b\u043b \u0441\u0432\u044f\u0437\u0430\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043e\u0434\u043d\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0447\u0442\u043e \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c Sortnet.\u00a0<\/p>\n<h4>\u041b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/h4>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u201c\u041b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u201d (Linearized sef-attention). \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u044b\u0441\u043b\u044c \u044d\u0442\u043e\u0439 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"QK^T\" alt=\"QK^T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e8d\/589\/95d\/e8d58995d7bcfb1c235ac5fa8d4570c9.svg\" width=\"37\" height=\"21\"\/><\/p>\n<p>\u0432\u0435\u0434\u0435\u0442 \u043a \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0430 \u0432\u043e\u0442 \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043d\u0435 \u0431\u0440\u0430\u043b\u0438 \u043e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e Softmax, \u0442\u043e \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"K^TV,\" alt=\"K^TV,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/434\/19c\/416\/43419c416a035ce4c545ad70eeb8cc93.svg\" width=\"41\" height=\"21\"\/><\/p>\n<p>\u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u0436\u0435 \u043d\u0430 Q, \u0438 \u0436\u0438\u0437\u043d\u044c \u0441\u0442\u0430\u043b\u0430 \u0431\u044b \u043f\u0440\u043e\u0449\u0435. \u041a\u0430\u043a \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f? \u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0441 Q \u0438 K \u043f\u043e-\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0432 \u0438\u0445 \u0432 Q\u2019 \u0438 K\u2019, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0434\u0430\u0432\u0430\u043b\u043e \u0442\u043e\u0442 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043a\u0430\u043a \u0438 \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0444\u0442\u043c\u0430\u043a\u0441\u0430 \u043d\u0430\u0434 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c Q \u0438 K. \u042d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u043a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0432 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"exp(QK^T)\" alt=\"exp(QK^T)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce8\/daf\/be9\/ce8dafbe9a905a0c02d2224872b516b3.svg\" width=\"75\" height=\"22\"\/><\/p>\n<p>\u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"q_i \u0438 k_j,\" alt=\"q_i \u0438 k_j,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d75\/b11\/7f9\/d75b117f9a3dd3afd8f0ac6a6c65817f.svg\" width=\"40\" height=\"20\"\/><\/p>\n<p>\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\phi(q_i) ; \\phi(k_j).\" alt=\"\\phi(q_i) ; \\phi(k_j).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/69f\/123\/567\/69f12356702016e3ae4decefe4f8e72b.svg\" width=\"84\" height=\"20\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0442\u0430\u043a\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043b\u0438, \u0442\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\phi(k_j)\" alt=\"\\phi(k_j)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b78\/0f7\/c1a\/b780f7c1ac8da84a8edefdaf9350bd91.svg\" width=\"37\" height=\"20\"\/><\/p>\n<p>\u043d\u0430 v, \u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u0436\u0435 \u0443\u043c\u043d\u043e\u0436\u0430\u0442\u044c \u043d\u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\phi(q_i).\" alt=\"\\phi(q_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fbe\/c6c\/253\/fbec6c253f1683d3f463b37da758b048.svg\" width=\"40\" height=\"20\"\/><\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/878\/939\/247\/878939247f4f52f7bdf911c5df14986d.jpg\" width=\"2484\" height=\"494\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/878\/939\/247\/878939247f4f52f7bdf911c5df14986d.jpg\" data-blurred=\"true\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0438\u043d\u0438\u043c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (\u0442\u043e, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0432 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0435, \u043a\u043e\u0433\u0434\u0430 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043b\u0438\u0448\u044c \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438, \u043d\u043e \u043d\u0435 \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438) \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e, \u0430 \u043b\u0438\u0448\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u044b\u043c\u0438 \u0447\u043b\u0435\u043d\u0430\u043c\u0438.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439  \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f elu(x)+1 \u0432 Linear-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 (<a href=\"http:\/\/proceedings.mlr.press\/v119\/katharopoulos20a.html\"><u>http:\/\/proceedings.mlr.press\/v119\/katharopoulos20a.html<\/u><\/a>). \u0410 \u0430\u0432\u0442\u043e\u0440\u044b Performer (<a href=\"https:\/\/arxiv.org\/abs\/2009.14794\"><u>https:\/\/arxiv.org\/abs\/2009.14794<\/u><\/a>) \u0441\u0442\u0430\u0440\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044e  \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\phi(x)= \\frac{h(x)}{\\sqrt m}[f_1(\\omega_1^Tx),...,f_1(\\omega_m^Tx),...,f_l(\\omega_1^Tx),...,f_l(\\omega_m^Tx)]\" alt=\"\\phi(x)= \\frac{h(x)}{\\sqrt m}[f_1(\\omega_1^Tx),...,f_1(\\omega_m^Tx),...,f_l(\\omega_1^Tx),...,f_l(\\omega_m^Tx)]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/819\/c31\/7ed\/819c317edc28b605ab5b1573fb81deeb.svg\" width=\"436\" height=\"45\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044f <\/p>\n<p><img class=\"formula\" source=\"h(x): R^D-> R, &#187; alt=&#187;h(x): R^D-> R, &#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b94\/9a4\/df7\/b949a4df7cfc96c25cedd6c07d1b6cca.svg&#187; width=&#187;120&#8243; height=&#187;22&#8243;\/><\/p>\n<p>\u0430<\/p>\n<p><img class=\"formula\" source=\"f_l:R->R.&#187; alt=&#187;f_l:R->R.&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/805\/630\/121\/8056301214fe48bce4c17a4984ea282c.svg&#187; width=&#187;90&#8243; height=&#187;18&#8243;\/><\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 f \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u044d\u0442\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"h(x)= exp(\\frac{\\|x\\|^2}{2}), l=2,f_1=sin, f_2=cos\" alt=\"h(x)= exp(\\frac{\\|x\\|^2}{2}), l=2,f_1=sin, f_2=cos\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/45e\/866\/fce\/45e866fcebbc7fcdcc2bd6966a7eecbb.svg\" width=\"306\" height=\"40\"\/><\/p>\n<p>\u0438<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"h(x)=exp(-\\frac{\\|x\\|^2}{2}), l=1, f_1=exp\" alt=\"h(x)=exp(-\\frac{\\|x\\|^2}{2}), l=1, f_1=exp\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/730\/450\/064\/73045006444c38d835848dca93e4d22a.svg\" width=\"254\" height=\"40\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"h(x)=1,l=1, f_1=ReLU\" alt=\"h(x)=1,l=1, f_1=ReLU\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/daa\/a3a\/059\/daaa3a0597a046b0b4cd37f1d94cd239.svg\" width=\"191\" height=\"20\"\/><\/p>\n<p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u043c \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435\u043c. \u0412 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u0435 \u043d\u043e\u0432\u044b\u0435 \u0447\u043b\u0435\u043d\u044b <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"k_i, v_i\" alt=\"k_i, v_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/06a\/0dd\/649\/06a0dd649536da0f745e07a4af78895a.svg\" width=\"35\" height=\"18\"\/><\/p>\n<p>\u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a \u043e\u0431\u0449\u0435\u0439 \u0441\u0443\u043c\u043c\u0435. \u0412 Random Feature Attention (<a href=\"https:\/\/openreview.net\/forum?id=QtTKTdVrFBB\"><u>https:\/\/openreview.net\/forum?id=QtTKTdVrFBB<\/u><\/a>) \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0433\u0435\u0439\u0442\u0438\u043d\u0433\u0430, \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043b\u0438\u0448\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 (\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435). \u041e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0432\u0435\u0441\u043e\u0432 g \u0443 \u043d\u043e\u0432\u043e\u0433\u043e \u0447\u043b\u0435\u043d\u0430 \u0438 (1-g) \u0443 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0443\u043c\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h4>\u041f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0441\u0436\u0430\u0442\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0435\u0449\u0435 \u0434\u0432\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041f\u0435\u0440\u0432\u044b\u0439 \u043d\u0430\u0446\u0435\u043b\u0435\u043d \u043d\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0432\u0442\u043e\u0440\u043e\u0439 &#8212; \u043d\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u0430 \u043f\u0430\u0440 \u201c\u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u201d.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/671\/a66\/383\/671a66383e3d64fddd3244697b11cfab.png\" alt=\"\u041f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0441\u0436\u0430\u0442\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438\" title=\"\u041f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0441\u0436\u0430\u0442\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438\" width=\"800\" height=\"376\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/671\/a66\/383\/671a66383e3d64fddd3244697b11cfab.png\"\/><figcaption>\u041f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0441\u0436\u0430\u0442\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438<\/figcaption><\/figure>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u044b \u0438\u0437 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (query), \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c. \u0415\u0441\u0442\u044c \u0438 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 Clustered Attention (<a href=\"https:\/\/arxiv.org\/abs\/2007.04825\"><u>https:\/\/arxiv.org\/abs\/2007.04825<\/u><\/a>) \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0438 \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u043e\u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0442\u0430\u0432\u044f\u0442\u0441\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0438\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443.\u00a0<\/p>\n<p>\u0412 Informer \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u0435\u0440\u0443 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e \u041a\u0443\u043b\u044c\u0431\u0430\u043a\u0430-\u041b\u0435\u0439\u0431\u043b\u0435\u0440\u0430 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c. \u041f\u043e \u044d\u0442\u043e\u0439 \u043c\u0435\u0440\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f top-u \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0430 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0431\u0435\u0440\u0443\u0442 \u0438\u0437 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0432\u0441\u0435 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u043d\u0443\u0436\u043d\u043e \u0443\u0436\u0435 \u0438\u043c\u0435\u0442\u044c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0441\u0435 \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0438 \u043d\u0435 \u044f\u0441\u043d\u043e, \u043a\u0430\u043a\u043e\u0439 \u0432 \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430\u0445 \u0442\u043e\u0433\u0434\u0430 \u0441\u043c\u044b\u0441\u043b. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u0430\u043a, \u043a\u0430\u043a \u044d\u0442\u043e \u043e\u0431\u043e\u0439\u0442\u0438. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u043d\u0435\u043c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0432 <a href=\"https:\/\/arxiv.org\/abs\/2012.07436\"><u>\u0441\u0442\u0430\u0442\u044c\u0435<\/u><\/a>.<\/p>\n<p>Memory Compressed Attention (<a href=\"https:\/\/openreview.net\/forum?id=Hyg0vbWC-\"><u>https:\/\/openreview.net\/forum?id=Hyg0vbWC-<\/u><\/a>), \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u043f\u0440\u0438\u0437\u0432\u0430\u043d \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0447\u0435\u0440\u0435\u0437 \u0448\u0430\u0433\u0430\u044e\u0449\u0443\u044e (strided) \u0441\u0432\u0435\u0440\u0442\u043a\u0443. \u0414\u0440\u0443\u0433\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438 \u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 Set Transformer (<a href=\"http:\/\/proceedings.mlr.press\/v97\/lee19d.html\"><u>http:\/\/proceedings.mlr.press\/v97\/lee19d.html<\/u><\/a>). \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0437\u0434\u0435\u0441\u044c \u043e\u0431\u043e\u0437\u0440\u0435\u0432\u0430\u044e, \u043f\u0438\u0448\u0443\u0442, \u0447\u0442\u043e \u0432 \u043d\u0435\u043c \u0438 \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 Luna (<a href=\"https:\/\/arxiv.org\/abs\/2106.01540\"><u>https:\/\/arxiv.org\/abs\/2106.01540<\/u><\/a>) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0437\u043b\u044b, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0430\u0440\u044b \u201c\u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u201d, \u0430 \u0432\u043e\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0432\u0441\u0435. \u0412 \u0441\u0430\u043c\u043e\u0439 \u0436\u0435 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e Set Transformer \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f induced set attention \u0431\u043b\u043e\u043a\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5c2\/e54\/f36\/5c2e54f361914ec12afed6179e392e6e.png\" alt=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0437\u0430\u043c\u0435\u043d\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u0431\u043b\u043e\u043a set attention (SAB) \u0438 induced set attention (ISAB)\u00a0\" title=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0437\u0430\u043c\u0435\u043d\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u0431\u043b\u043e\u043a set attention (SAB) \u0438 induced set attention (ISAB)\u00a0\" width=\"717\" height=\"177\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c2\/e54\/f36\/5c2e54f361914ec12afed6179e392e6e.png\"\/><figcaption>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0437\u0430\u043c\u0435\u043d\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u0431\u043b\u043e\u043a set attention (SAB) \u0438 induced set attention (ISAB)\u00a0<\/figcaption><\/figure>\n<p>\u041a \u043d\u0435\u043c\u0443 \u043e\u043d\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0441\u0442\u043e set attention block, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c Q=K=V=X. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0436\u0435 ISAB \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 I \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u0417\u0430\u0442\u0435\u043c \u0432\u044b\u0445\u043e\u0434 \u044d\u0442\u043e\u0433\u043e \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043a\u043b\u044e\u0447\u0438 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0434\u0440\u0443\u0433\u043e\u0435 \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0430 \u0442\u043e, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u043e\u043c\u0443 \u0431\u043b\u043e\u043a\u0443 \u0441\u043b\u0443\u0436\u0438\u043b\u043e \u043a\u0430\u043a \u043a\u043b\u044e\u0447 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (\u0440\u0430\u0432\u043d\u044b\u0435), \u0442\u0435\u043f\u0435\u0440\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0434\u043b\u044f \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043c\u044b \u0443\u0437\u043d\u0430\u043b\u0438 \u043f\u0440\u043e \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e \u0441 \u0448\u0430\u0433\u0430\u044e\u0449\u0438\u043c\u0438 \u0441\u0432\u0435\u0440\u0442\u043a\u0430\u043c\u0438, \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0432\u0441\u044f\u043a\u0438\u0435 \u0441\u0445\u043e\u0436\u0438\u0435 \u0438\u0434\u0435\u0438, \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 Linformer (<a href=\"https:\/\/arxiv.org\/abs\/2006.04768\"><u>https:\/\/arxiv.org\/abs\/2006.04768<\/u><\/a>): \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0441\u043b\u043e\u0439 \u043c\u043e\u0433 \u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 (d -> d\u2019), \u043d\u043e \u0437\u0434\u0435\u0441\u044c \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e\u0431\u044b \u0438\u0437 <em>l<\/em> \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438) \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0441\u0434\u0435\u043b\u0430\u0442\u044c <em>l<\/em>\u2019. \u041d\u0430\u043a\u043e\u043d\u0435\u0446, Poolingformer (<a href=\"https:\/\/arxiv.org\/abs\/2105.04371\"><u>https:\/\/arxiv.org\/abs\/2105.04371<\/u><\/a>) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u0432\u0430 \u0443\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0445\u043e\u0434\u0430: \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0432 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u043c \u043e\u043a\u043d\u0435 \u0438 \u0437\u0430\u0442\u0435\u043c \u0443\u0436\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 \u043f\u0430\u0440 \u201c\u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u201d, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043e\u043d\u0438 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u044e\u0442 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u043f\u0443\u043b\u0438\u043d\u0433\u0430.<\/p>\n<h4>\u041d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u043e\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/h4>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0438\u0448\u0443\u0442, \u0447\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430, \u0442.\u0435. \u0435\u0435 \u0440\u0430\u043d\u0433 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 l. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e \u0434\u043b\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c PAD \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0435\u0435 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c. \u0427\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u0430\u0432\u0442\u043e\u0440\u044b <a href=\"https:\/\/ieeexplore.ieee.org\/document\/8894858\"><u>\u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0441\u0442\u0430\u0442\u0435\u0439<\/u><\/a> \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u0443\u044e \u0434\u043b\u044f \u0443\u0447\u0435\u0442\u0430 \u0434\u0430\u043b\u044c\u043d\u0438\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0438 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u0441\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0438\u043c \u043e\u043a\u043d\u043e\u043c.<\/p>\n<p>\u0412 \u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0445 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u0443\u044e \u0430\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e. \u041e\u0434\u043d\u0430 \u0438\u0437 \u043b\u0438\u043d\u0438\u0439 \u0440\u0430\u0431\u043e\u0442 \u0432 \u044d\u0442\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 \u041d\u0438\u0441\u0442\u0440\u043e\u043c\u0430 (Nystrom (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Nystr%C3%B6m_method\"><u>https:\/\/en.wikipedia.org\/wiki\/Nystr\u00f6m_method<\/u><\/a>). \u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0443\u0437\u043b\u044b-\u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0435\u0440\u0435\u0437 \u0448\u0430\u0433\u0430\u044e\u0449\u0438\u0439 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0449\u0438\u0439 \u043f\u0443\u043b\u0438\u043d\u0433). \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0410 \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\overline{A}=softmax({Q}{\\overline{K}}^T)(softmax({\\overline{QK}^T)}^{-1} softmax(\\overline{Q}K^T),\" alt=\"\\overline{A}=softmax({Q}{\\overline{K}}^T)(softmax({\\overline{QK}^T)}^{-1} softmax(\\overline{Q}K^T),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2eb\/bac\/cc9\/2ebbaccc9cb7c68ae63ce0c33ddcc780.svg\" width=\"402\" height=\"31\"\/><\/p>\n<p>\u0433\u0434\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\overline{Q};\\overline{K}\" alt=\"\\overline{Q};\\overline{K}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd3\/01f\/f36\/bd301ff364ac5d7ae6e91a096920f70e.svg\" width=\"37\" height=\"23\"\/><\/p>\n<p>\u044d\u0442\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u044b (\u043a\u043b\u044e\u0447\u0438), \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u043e\u0432.\u00a0<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"M^{-1}=(softmax\\overline{QK}^{T})^{-1}\" alt=\"M^{-1}=(softmax\\overline{QK}^{T})^{-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/332\/b38\/47d\/332b3847d884a0a216f9c738ded0d1b3.svg\" width=\"185\" height=\"28\"\/><\/p>\n<p>\u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b <a href=\"https:\/\/www.ijcai.org\/proceedings\/2020\/285\"><u>CSALR<\/u><\/a> \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043a \u043d\u0435\u0439 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u0443\u044e. \u0412 Nystromformer (<a href=\"https:\/\/arxiv.org\/abs\/2102.03902\"><u>https:\/\/arxiv.org\/abs\/2102.03902<\/u><\/a>) \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0441\u0435\u0432\u0434\u043e\u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 M \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439, \u0447\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 M \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u0439.<\/p>\n<h4>\u0410\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/h4>\n<p>\u0425\u043e\u0442\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430\u0446\u0435\u043b\u0435\u043d \u043d\u0430 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u201c\u0441\u0432\u044f\u0437\u0435\u0439\u201d \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438, \u0438\u043d\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u201c\u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u201d \u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0443, \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044f \u0438\u043b\u0438 \u0443\u043c\u043d\u043e\u0436\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0443\u044e.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/420\/bdd\/7da\/420bdd7dad600b0cf13925f47d3e7039.png\" alt=\"\u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e\" title=\"\u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e\" width=\"499\" height=\"153\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/420\/bdd\/7da\/420bdd7dad600b0cf13925f47d3e7039.png\"\/><figcaption>\u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e<\/figcaption><\/figure>\n<p>\u0418 \u043f\u0435\u0440\u0432\u0430\u044f \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u0430\u044f \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u0441\u0445\u043e\u0436\u0430 \u0441 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u0432 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u043c \u043e\u043a\u043d\u0435, \u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u043a\u043d\u0430 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0432\u0435\u0441\u0430 \u044f\u0434\u0440\u043e\u043c \u0413\u0430\u0443\u0441\u0441\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 Gij, \u0438 \u0447\u0435\u043c \u0432\u044b\u0448\u0435 \u044d\u0442\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0443\u0437\u043b\u044b i \u0438 j. Yang et al. (<a href=\"https:\/\/aclanthology.org\/D18-1475\/\"><u>https:\/\/aclanthology.org\/D18-1475\/<\/u><\/a>) \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"G_{ij}=-\\frac{(j-p_i)^2}{2\\sigma^2},\" alt=\"G_{ij}=-\\frac{(j-p_i)^2}{2\\sigma^2},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdf\/0f3\/668\/cdf0f36680f9fafb520578070db0e80a.svg\" width=\"128\" height=\"41\"\/><\/p>\n<p>\u0433\u0434\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p_i\" alt=\"p_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f6\/b68\/3e2\/9f6b683e27163b82792f8303882caf45.svg\" width=\"14\" height=\"14\"\/><\/p>\n<p>\u044d\u0442\u043e \u0438\u043d\u0434\u0435\u043a\u0441 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 (\u043a\u043b\u044e\u0447\u0430) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"q_i,\" alt=\"q_i,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32d\/9e1\/b2e\/32d9e1b2e6a868c7d88dd4e52917c137.svg\" width=\"17\" height=\"14\"\/><\/p>\n<p>\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e. \u0412 Gaussian Transformer (<a href=\"https:\/\/ojs.aaai.org\/\/index.php\/AAAI\/article\/view\/4614\"><u>https:\/\/ojs.aaai.org\/\/index.php\/AAAI\/article\/view\/4614<\/u><\/a>) \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0435\u0439 \u043a\u043b\u044e\u0447\u0430 \u0434\u043b\u044f <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"q_i\" alt=\"q_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a1\/d4a\/bd6\/9a1d4abd6b87fbb60417ff8e7e4e491b.svg\" width=\"13\" height=\"14\"\/><\/p>\n<p>\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f i (\u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c), \u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"G_{ij}=-\\mid{w}(i-j)^2+b \\mid,\" alt=\"G_{ij}=-\\mid{w}(i-j)^2+b \\mid,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72f\/c5b\/8ef\/72fc5b8ef302c91a99fb76442219c91b.svg\" width=\"175\" height=\"22\"\/><\/p>\n<p>\u0433\u0434\u0435 <em>w<\/em>>=0, <em>b<\/em>&lt;=0 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u0430\u043c\u0438, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u043c\u0438 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0414\u0440\u0443\u0433\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043c\u043e\u0434\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0441\u043b\u043e\u0435\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u0431\u043e\u043b\u0435\u0435 \u043d\u0438\u0437\u043a\u0438\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\widehat{A}^{(l)}=w_1\\ast{A}^{(l)}+w_2\\ast{g}(A^{(l-1)}),\" alt=\"\\widehat{A}^{(l)}=w_1\\ast{A}^{(l)}+w_2\\ast{g}(A^{(l-1)}),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/380\/fe4\/8e8\/380fe48e82578a2fdc9ed51a8b2378c2.svg\" width=\"229\" height=\"28\"\/><\/p>\n<p><em>l<\/em> \u0437\u0434\u0435\u0441\u044c &#8212; \u044d\u0442\u043e \u043d\u043e\u043c\u0435\u0440 \u0441\u043b\u043e\u044f, \u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_1, w_2\" alt=\"w_1, w_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d0\/857\/ed9\/3d0857ed9e0c8e78641e837195d75923.svg\" width=\"45\" height=\"14\"\/><\/p>\n<p>\u0432\u0435\u0441\u0430, g &#8212; \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f. \u0412 Predictive Attention Transformer (<a href=\"https:\/\/openreview.net\/forum?id=YQVjbJPnPc9\"><u>https:\/\/openreview.net\/forum?id=YQVjbJPnPc9<\/u><\/a>) \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 g \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439, \u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_1=a, w_2=1-a,\" alt=\"w_1=a, w_2=1-a,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ba\/391\/d7b\/1ba391d7bb95e9fb1cc13d9f81e39510.svg\" width=\"138\" height=\"17\"\/><\/p>\n<p>\u0430 \u0432 Realformer (<a href=\"https:\/\/arxiv.org\/abs\/2012.11747\"><u>https:\/\/arxiv.org\/abs\/2012.11747<\/u><\/a>) g \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 (\u0438\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0435 \u043a\u0430\u043a \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435), \u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_1=w_2=1.\" alt=\"w_1=w_2=1.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4bb\/ed5\/927\/4bbed592755e40738f162a4d8dc3b36a.svg\" width=\"94\" height=\"16\"\/><\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0433\u043e\u0432\u043e\u0440\u044f\u0449\u0435\u0433\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f Lazyformer (<a href=\"https:\/\/arxiv.org\/abs\/2102.12702\"><u>https:\/\/arxiv.org\/abs\/2102.12702<\/u><\/a>) \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0448\u0430\u0440\u0438\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0410 \u043c\u0435\u0436\u0434\u0443 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u043c\u0438 \u0441\u043b\u043e\u044f\u043c\u0438 (\u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u044f\u0441\u044c \u043c\u0435\u0436\u0434\u0443 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_1=0, w_2=1; w_1=1, w_2=0)\" alt=\"w_1=0, w_2=1; w_1=1, w_2=0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7a2\/a8a\/879\/7a2a8a879bfb22928b578f2a6261ba47.svg\" width=\"223\" height=\"20\"\/><\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0432 \u043e\u0431\u0437\u043e\u0440\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u043c\u0443\u043b\u044c\u0442\u0438\u0437\u0430\u0434\u0430\u0447\u043d\u044b\u043c\u0438 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u043c\u0438 (<a href=\"https:\/\/openreview.net\/forum?id=de11dbHzAMF\"><u>https:\/\/openreview.net\/forum?id=de11dbHzAMF<\/u><\/a>) \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044f \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a CAMTL (Conditionally Adaptive Multi-Task Learning). \u0412 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 M, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u043b\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 zi. <\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/326\/efb\/583\/326efb583b2fd945dd7273ff751e8507.png\" width=\"489\" height=\"94\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/326\/efb\/583\/326efb583b2fd945dd7273ff751e8507.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 m \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"A_j\\in{R}^{(n\/m)\\ast(n\/m)}\" alt=\"A_j\\in{R}^{(n\/m)\\ast(n\/m)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/64d\/e6f\/315\/64de6f315d1a865a4a55e0caf92a8f03.svg\" width=\"122\" height=\"23\"\/><\/p>\n<p>\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u0430 \u043d\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0430 \u0438  \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0449\u0438\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"R^{(n\/m)\\ast(n\/m)}.\" alt=\"R^{(n\/m)\\ast(n\/m)}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bfc\/086\/a16\/bfc086a164c379538315c0b811a1a1e1.svg\" width=\"88\" height=\"19\"\/><\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0430\u044f\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 A\u2019 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 \u0410.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/615\/7e7\/6e5\/6157e76e531121e590504dc28046e1df.png\" alt=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u0437\u0430\u0434\u0430\u0447\u043d\u044b\u0445 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\" title=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u0437\u0430\u0434\u0430\u0447\u043d\u044b\u0445 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\" width=\"331\" height=\"264\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/615\/7e7\/6e5\/6157e76e531121e590504dc28046e1df.png\"\/><figcaption>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u0437\u0430\u0434\u0430\u0447\u043d\u044b\u0445 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/figcaption><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435 Lazyformer \u043d\u0435\u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u0448\u043b\u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0438 \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0430 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u0433\u0434\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0445\u0430\u0440\u0434\u043a\u043e\u0436\u0435\u043d\u043e, \u0442.\u0435. \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0432\u0445\u043e\u0434\u0430. \u0422\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Zhang et al. (<a href=\"https:\/\/aclanthology.org\/P18-1166\/\"><u>https:\/\/aclanthology.org\/P18-1166\/<\/u><\/a>) \u0432\u043c\u0435\u0441\u0442\u043e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0443\u043c\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u0435\u043b\u0430\u044e\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e, \u0430 \u0437\u0430\u0442\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0435\u0441\u0430, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u043a\u0443\u043c\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435. You et al. (<a href=\"https:\/\/doi.org\/10.18653\/v1\/2020.acl-main.687\"><u>https:\/\/doi.org\/10.18653\/v1\/2020.acl-main.687<\/u><\/a>)\u00a0 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0430 \u0432 Synthesizer (<a href=\"https:\/\/arxiv.org\/abs\/2005.00743\"><u>https:\/\/arxiv.org\/abs\/2005.00743<\/u><\/a>) \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0410, \u0430 \u043d\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0438\u0437 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043d\u0438 \u043d\u0430\u0437\u0432\u0430\u043b\u0438 Synthesizer (Dense), \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043b \u043c\u0430\u0442\u0440\u0438\u0446\u0443 A \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 (\u0442.\u0435. \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0434\u043b\u0438\u043d\u043e\u0439 d \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043b\u0438\u043d\u043e\u0439 l). \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d, \u043e\u0431\u043b\u0430\u0434\u0430\u044f \u043b\u0438\u0448\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e \u0441\u0435\u0431\u0435, \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0433\u0430\u0434\u0430\u0442\u044c\u0441\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0435\u043c\u0443 \u043d\u0443\u0436\u043d\u0430 \u043e\u0442 \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u0442.<\/p>\n<h4>\u0423\u043b\u0443\u0447\u0448\u0430\u0435\u043c \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/h4>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0430\u0432\u0442\u043e\u0440\u044b \u043e\u0431\u0437\u043e\u0440\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443: \u0432 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043d\u0438\u0447\u0442\u043e \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442 \u0438\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c\u0441\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0430\u0441\u0442\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0431\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445. \u0420\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0435\u0448\u0438\u0442\u044c. \u0412 \u0446\u0435\u043b\u043e\u043c \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u043f\u0443\u0442\u0438 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e: \u0438\u043b\u0438 \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0433\u043e\u043b\u043e\u0432\u0430\u043c\u0438, \u043f\u043e\u0434\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044f \u0438\u0445 \u0432\u044b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e, \u0438\u043b\u0438 \u0436\u0435 \u0432\u0432\u043e\u0434\u0438\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0448\u0438\u0431\u043a\u0438.\u00a0<\/p>\n<p>\u0422\u0430\u043a Li et al. (<a href=\"https:\/\/aclanthology.org\/D18-1317\/\"><u>https:\/\/aclanthology.org\/D18-1317\/<\/u><\/a>) \u0432\u0432\u043e\u0434\u044f\u0442 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0434\u043e\u0431\u0430\u0432\u043a\u0438 \u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0448\u0438\u0431\u043a\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"D_{subspace}=-\\frac{1}{H^2}\\displaystyle\\sum_{i=1}^{H}\\displaystyle\\sum_{j=1}^{H}{\\frac{{v^i}\\ast{v^j}}{{\\|v^i\\|}{\\|v^j\\|}}}\" alt=\"D_{subspace}=-\\frac{1}{H^2}\\displaystyle\\sum_{i=1}^{H}\\displaystyle\\sum_{j=1}^{H}{\\frac{{v^i}\\ast{v^j}}{{\\|v^i\\|}{\\|v^j\\|}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/84d\/b3d\/515\/84db3d51595e31abfd7e794f833a0c09.svg\" width=\"243\" height=\"53\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"D_{position}=-\\frac{1}{H^2}\\sum_{i=1}^{H}\\sum_{j=1}^{H}V|A^i\\odot{A^j}|\" alt=\"D_{position}=-\\frac{1}{H^2}\\sum_{i=1}^{H}\\sum_{j=1}^{H}V|A^i\\odot{A^j}|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/010\/e9c\/bbb\/010e9cbbb0594e3e72fae9d465416b23.svg\" width=\"252\" height=\"53\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"D_{output}=-\\frac{1}{H^2}\\displaystyle\\sum_{i=1}^{H}\\displaystyle\\sum_{j=1}^{H}{\\frac{{o^i}\\ast{o^j}}{{\\|o^i\\|}{\\|o^j\\|}}}\" alt=\"D_{output}=-\\frac{1}{H^2}\\displaystyle\\sum_{i=1}^{H}\\displaystyle\\sum_{j=1}^{H}{\\frac{{o^i}\\ast{o^j}}{{\\|o^i\\|}{\\|o^j\\|}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b9\/a3a\/698\/5b9a3a698af9e94bd0d8f12b82744406.svg\" width=\"231\" height=\"53\"\/><\/p>\n<p>\u042d\u0442\u0438 \u0434\u043e\u0431\u0430\u0432\u043a\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"(D_{subspace}),\" alt=\"(D_{subspace}),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7b\/b51\/711\/c7bb517114c22934bdc4bf5d99daa5cb.svg\" width=\"77\" height=\"20\"\/><\/p>\n<p>\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"(D_{position})\" alt=\"(D_{position})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eef\/154\/c5c\/eef154c5c95042cade1fef6a0ec4d80f.svg\" width=\"69\" height=\"20\"\/><\/p>\n<p>\u0438 \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"(D_{output})\" alt=\"(D_{output})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ff\/333\/853\/2ff3338539c582f5d6478bb1cbf9ed68.svg\" width=\"61\" height=\"20\"\/><\/p>\n<p>\u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 (i, j \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432).\u00a0<\/p>\n<p>\u0414\u0440\u0443\u0433\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043b\u043e\u0441\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u0435\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0410 \u043f\u043e\u0434 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a\u043e\u0439, \u043a\u0430\u043a \u0443 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u043c \u043e\u043a\u043d\u0435 \u0438\u043b\u0438 \u043a\u0430\u043a \u0443 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f). Sukhbaatar et al. (<a href=\"https:\/\/aclanthology.org\/P19-1032\/\"><u>https:\/\/aclanthology.org\/P19-1032\/<\/u><\/a>) \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u043c\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u043e\u043a\u043d\u0430, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u0435\u043c\u0443\u044e \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u043c\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c z \u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c\u00a0 R:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1ad\/732\/097\/1ad732097b8b6005336a6bd9327a71dd.png\" width=\"862\" height=\"123\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ad\/732\/097\/1ad732097b8b6005336a6bd9327a71dd.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u043e\u0434\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u043d\u0438\u044e \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u043a\u043d\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b Multi-Scale Transformer (<a href=\"https:\/\/ojs.aaai.org\/\/index.php\/AAAI\/article\/view\/6290\"><u>https:\/\/ojs.aaai.org\/\/index.php\/AAAI\/article\/view\/6290<\/u><\/a>) \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043e\u043a\u043d\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 \u0438 \u0441\u043b\u043e\u0435\u0432, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f \u044d\u0442\u043e \u043d\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u043c \u0431\u0430\u0437\u0438\u0441\u0435 \u0438 \u043d\u0430 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0443 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0441\u043b\u043e\u0435\u0432 BERT \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043e\u043a\u043e\u043d, \u0447\u0435\u043c \u0443 \u0431\u043e\u043b\u0435\u0435 \u043d\u0438\u0437\u043a\u0438\u0445 (\u043e\u0431\u0449\u0438\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c).<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u0430\u043b\u0435\u0435 \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u044f\u044e\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f: \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u043f\u043e\u0432\u0435\u0440\u0445 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u042d\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u044b WV \u0438 WO \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0430 \u043f\u043e\u0442\u043e\u043c \u0441\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u043e\u0442 \u0442\u0430\u043a\u0438\u0445 \u0433\u043e\u043b\u043e\u0432. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0432\u0438\u0434\u0438\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u0430\u0431\u044b\u043c, \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0440\u0430\u044e\u0442\u0441\u044f \u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c. \u041e\u0434\u0438\u043d \u0438\u0437 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u043b\u0435\u043d \u043a\u0430\u043f\u0441\u0443\u043b\u044c\u043d\u044b\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u043e\u0443\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0442 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432. \u0414\u0432\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u043e\u0443\u0442\u0438\u043d\u0433 \u0438 EM-\u0440\u043e\u0443\u0442\u0438\u043d\u0433. \u041e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442 \u043d\u0430 \u0442\u0430\u043a\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 Li et al. (<a href=\"https:\/\/aclanthology.org\/N19-1359\/\"><u>https:\/\/aclanthology.org\/N19-1359\/<\/u><\/a>) \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043b\u0438\u0448\u044c \u043d\u0430 \u043d\u0438\u0436\u043d\u0438\u0445 \u0441\u043b\u043e\u044f\u0445.\u00a0<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0431\u0437\u043e\u0440\u0430 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0443\u044e \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e: \u0448\u0430\u0440\u0438\u043d\u0433 \u043f\u0430\u0440 \u201c\u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u201d \u043c\u0435\u0436\u0434\u0443 \u0433\u043e\u043b\u043e\u0432\u0430\u043c\u0438, \u0442.\u0435. \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>***<\/p>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043e\u0431\u0437\u043e\u0440\u0430 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041c\u044b \u043f\u0440\u0438\u0432\u0435\u043b\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0446\u0435\u043b\u0435\u043d\u044b \u043d\u0430 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u041f\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u043c \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043c\u0430\u0441\u0441\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0431\u043e\u0440\u043e\u0442\u044c\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u043f\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044e \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0435\u043c\u043a\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043e\u043f\u0438\u0448\u0435\u043c \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0438\u0434\u0435\u0438 \u043f\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u0438\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432 \u043e\u0431\u0449\u0435\u043c.\u00a0<\/p>\n<p>\u041a\u043e\u0433\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2106.04554\">\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/a>, \u0430 \u0435\u0449\u0435 \u0438 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 youtube-\u043a\u0430\u043d\u0430\u043b\u00a0 (<a href=\"https:\/\/www.youtube.com\/c\/YannicKilcher\">https:\/\/www.youtube.com\/c\/YannicKilcher<\/a>), \u0430\u0432\u0442\u043e\u0440 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0440\u0430\u0437\u0431\u043e\u0440\u044b \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439, \u0438\u00a0<a href=\"https:\/\/www.youtube.com\/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM\">\u043d\u0430 \u043a\u0443\u0440\u0441 \u043e\u0442 \u0421\u0442\u044d\u043d\u0444\u043e\u0440\u0434\u0430<\/a> \u043f\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c.\u00a0<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/lanit\/blog\/682506\/\"> https:\/\/habr.com\/ru\/company\/lanit\/blog\/682506\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u0438\u044e\u043d\u0435 2021 \u0433\u043e\u0434\u0430 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f <a href=\"https:\/\/arxiv.org\/abs\/2106.04554\"><u>\u201cA Survey of Transformers\u201d<\/u><\/a> &#8212; \u043e\u0431\u0437\u043e\u0440 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u201c\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u201d \u043f\u043e\u0441\u043b\u0435 \u0435\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0435 \u201c<a href=\"https:\/\/arxiv.org\/abs\/1706.03762\"><u>Attention is all you need<\/u><\/a>\u201d.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u0435\u043d \u0441\u0435\u0439\u0447\u0430\u0441. \u041f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438\u0445 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u0443\u0436\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442 \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u0438 \u0441\u043b\u0430\u0431\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u0445\u043e\u0442\u044f\u0442 \u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c. \u041c\u043d\u043e\u0433\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u0435\u0439\u0447\u0430\u0441, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0440\u043e\u0434\u0438\u0432\u0448\u0435\u0435\u0441\u044f \u0432 \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u0433\u043e\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0432 \u0431\u043b\u043e\u0433\u0435 \u041b\u0410\u041d\u0418\u0422 \u043e\u0431\u0437\u043e\u0440 \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2106.04554\"><u>\u201cA Survey of Transformers\u201d<\/u><\/a>.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u043e \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u043c\u0435\u0440\u043e\u0432 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u0443\u0436\u0435 \u043d\u0435 \u043e\u0434\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0434\u0430\u0436\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/habr.com\/ru\/post\/486358\/\"><u>Transformer \u0432 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445<\/u><\/a>. \u0418\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0443\u0440\u0441\u044b <a href=\"https:\/\/lena-voita.github.io\/nlp_course.html\"><u>\u041b\u0435\u043d\u044b \u0412\u043e\u0439\u0442\u044b<\/u><\/a> \u0438\u043b\u0438 <a href=\"https:\/\/ods.ai\/tracks\/nlp-course-spring-22\"><u>\u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u041c\u0430\u043b\u044b\u0445<\/u><\/a>.\u00a0<\/p>\n<p>\u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u201cA Survey of Transformers\u201d \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442 \u043e\u0431 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u0430\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430. \u042f \u0442\u043e\u0436\u0435 \u0442\u0435\u0437\u0438\u0441\u043d\u043e \u0438\u0445 \u043e\u0442\u0440\u0430\u0436\u0443 \u0432 \u0441\u0432\u043e\u0435\u043c \u043f\u043e\u0441\u0442\u0435.\u00a0\u00a0<\/p>\n<h4>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e (\u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e) \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430<\/h4>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0430\u0441\u0442\u0435\u0439 \u0441\u043b\u043e\u0432. \u041a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440 \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u043c, \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u043c \u043e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445, \u0430 \u043b\u0438\u0448\u044c \u043e\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u043e\u0433\u043e \u043d\u043e\u043c\u0435\u0440\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u044d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u0432\u0441\u0435 \u0432\u0440\u0435\u043c\u044f \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b.<\/p>\n<p>\u0421\u0430\u043c\u044b\u043c \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0440\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0442\u0440\u0435\u043c\u044f \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438. \u041e\u0434\u0438\u043d \u0438\u0437 \u044d\u0442\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f query &#8212; \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0447\u0438\u0442\u0441\u044f \u201c\u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c\u201d \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u043d\u0443\u0436\u043d\u043e\u0439 \u0435\u043c\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0414\u0440\u0443\u0433\u043e\u0439 &#8212; key &#8212; \u0443\u0447\u0438\u0442\u0441\u044f \u201c\u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c\u201d, \u043a\u0430\u043a \u0434\u0430\u0442\u044c \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c, \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c \u0446\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043d\u0438\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u0438 value &#8212; \u0442\u0430 \u0441\u0430\u043c\u0430\u044f \u0446\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438.\u00a0<\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 query \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 key \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0447\u0435\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <em>l<\/em>x<em>l<\/em>, \u0433\u0434\u0435 <em>l<\/em> &#8212; \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u0414\u0430\u043b\u0435\u0435 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043a\u0430\u0436\u0434\u043e\u0433\u043e query \u043c\u044b \u0438\u043c\u0435\u0435\u043c <em>l<\/em> \u0435\u0433\u043e \u201c\u0441\u0432\u044f\u0437\u0435\u0439\u201d \u0441 key \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 softmax, \u0447\u0442\u043e\u0431\u044b \u0432\u043c\u0435\u0441\u0442\u0435 \u043e\u043d\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432 1. \u042d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0432\u0435\u0441\u0430, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u044b \u0437\u0430\u0442\u0435\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c value \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e query \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0412 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 A \u043a\u0430\u043a \u0440\u0430\u0437 \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 <em>l<\/em>x<em>l<\/em>, \u0432\u044b\u0440\u0430\u0436\u0430\u044e\u0449\u0435\u0439 \u0442\u043e, \u043a\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432\u043e\u0437\u044c\u043c\u0435\u0442 \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u043e\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u0441\u043b\u043e\u044f\u0445 \u0441\u0435\u0442\u0438.<\/p>\n<p>\u0421 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0435\u0439 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e multihead-\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0417\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u043d\u0430 \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u043c \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u043e\u0435\u0432 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0435\u043c \u0441\u0442\u044b\u043a\u0443\u044e\u0442\u0441\u044f \u0432 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043a \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0443.<\/p>\n<p>\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f &#8212; \u044d\u0442\u043e position-wise feed forward network, \u0435\u0449\u0435 \u043e\u0434\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0438\u043b\u0438 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043a \u0434\u0430\u043d\u043d\u044b\u043c, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0435\u0432 \u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u044d\u0442\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0435\u0441\u0442\u044c residual-\u0441\u0432\u044f\u0437\u0438, \u0442.\u0435. \u0441\u0432\u044f\u0437\u0438 \u0432 \u043e\u0431\u0445\u043e\u0434 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u043e\u0435\u0432, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 position-wise \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0431\u0440\u043e\u0441\u0430 \u0438 \u0441\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0441 \u0442\u0435\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0435\u0440\u0435\u0437 \u044d\u0442\u0438 \u0441\u043b\u043e\u0438 \u043f\u043e\u0448\u043b\u0438, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f Layer-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f &#8212; \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0435\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0435\u0449\u0435 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0438 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0441\u0435\u0442\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0441\u0432\u044f\u0437\u0430\u043d \u0441 \u043d\u0430\u043b\u0438\u0447\u0438\u0435\u043c \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u043a \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u0438 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0442\u0430\u043a \u0438\u043b\u0438 \u0438\u043d\u0430\u0447\u0435 \u0431\u044b\u043b\u0430 \u043d\u0430\u0446\u0435\u043b\u0435\u043d\u0430 \u043d\u0430 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u043a\u0430\u0441\u0430\u043b\u043e\u0441\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0435\u0433\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f<\/h4>\n<p>\u0421\u0430\u043c\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u043d\u0443\u0435\u0442\u0441\u044f \u201c\u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c\u201d \u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0438 \u0441\u0432\u044f\u0437\u0435\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u044d\u0442\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u043e\u0433\u0434\u0430 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 \u0433\u0440\u0430\u0444\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438.<\/p>\n<ul>\n<li>\n<p><strong>Global<\/strong> &#8212; \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u0435\u0434\u0443\u0449\u0438\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0435\u0440\u0443\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0443 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u0434\u0430\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432\u0441\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c. \u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0436\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043d\u0435 \u0434\u0435\u043b\u044f\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>Band \u0438\u043b\u0438 local<\/strong> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u043b\u0438\u0448\u044c \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043a\u043d\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430\u0437\u0430\u0434 \u0438 \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u043f\u0435\u0440\u0435\u0434).<\/p>\n<\/li>\n<li>\n<p><strong>Dilated<\/strong> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043a\u043d\u0435, \u043d\u043e \u0441 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0430\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0430, \u0447\u0435\u0442\u044b\u0440\u0435 \u0438 \u0448\u0435\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043b\u0435\u0432\u043e \u0438 \u0432\u043f\u0440\u0430\u0432\u043e).<\/p>\n<\/li>\n<li>\n<p><strong>Random<\/strong> &#8212; \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>Block local<\/strong> &#8212; \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0431\u043b\u043e\u043a\u0430\u043c\u0438. \u0422\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u044f\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c, \u0432\u0442\u043e\u0440\u044b\u0435 \u043f\u044f\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (\u0441 \u043f\u044f\u0442\u043e\u0433\u043e \u043f\u043e \u0434\u0435\u0441\u044f\u0442\u044b\u0439) \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0438 \u0442. \u0434.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><figcaption>\u0412\u0438\u0434\u044b \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/figcaption><\/figure>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0436\u0435 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432.\u00a0<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Star-Transformer (<a href=\"https:\/\/aclanthology.org\/N19-1133\/\"><u>https:\/\/aclanthology.org\/N19-1133\/<\/u><\/a>) \u0438 Longformer (<a href=\"https:\/\/arxiv.org\/abs\/2004.05150\"><u>https:\/\/arxiv.org\/abs\/2004.05150<\/u><\/a>) \u0438 ETC (<a href=\"https:\/\/aclanthology.org\/2020.emnlp-main.19\/\"><u>https:\/\/aclanthology.org\/2020.emnlp-main.19\/<\/u><\/a>) \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 global \u0438 local \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>BigBird (<a href=\"https:\/\/arxiv.org\/abs\/2007.14062\"><u>https:\/\/arxiv.org\/abs\/2007.14062<\/u><\/a>) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 global, local \u0438 random.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><figcaption>\u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u0438 \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u0430\u043c\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0434\u043b\u0438\u043d\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0435\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0441\u0435\u0442\u0438.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0438\u0434 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0438\u043c\u0435\u043d\u0443\u0435\u0442\u0441\u044f extended, \u0442.\u0435. \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439. \u042d\u0442\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0438 \u0447\u0435\u0440\u0435\u0437 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u044b\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b.<\/p>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e (\u0432 BP-Transformer: <a href=\"https:\/\/arxiv.org\/abs\/1911.04070\"><u>https:\/\/arxiv.org\/abs\/1911.04070<\/u><\/a>) \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"\"><figcaption>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e (Binary partitioning (BP)\u00a0 Transformer(T))<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 span nodes. \u041e\u043d\u0438 \u043a\u0430\u043a \u0431\u044b \u044d\u043a\u0440\u0430\u043d\u0438\u0440\u0443\u044e\u0442 \u0441\u0432\u043e\u0438 \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0435 \u0443\u0437\u043b\u044b, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044f \u0432\u0441\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u0435\u0431\u044f. \u0427\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u043c \u043f\u043e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0438 \u0443\u0437\u043b\u0430\u043c \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u043e \u0441\u0435\u0431\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0430 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442.<\/p>\n<p>\u0423 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0432\u043e\u0438 \u0445\u0430\u043a\u0438 (<a href=\"http:\/\/proceedings.mlr.press\/v80\/parmar18a.html\"><u>http:\/\/proceedings.mlr.press\/v80\/parmar18a.html<\/u><\/a>). \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043f\u043e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0441\u0432\u044f\u0437\u0435\u0439 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f: block local \u0438 axial. \u0412 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0435\u0439 \u0438\u0434\u0435\u0442 \u0434\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0438\u0437 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0439 \u0432 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u0443\u044e. \u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0430, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 &#8212; \u043f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u0438 \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u043c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0438\u043a\u0441\u0435\u043b\u044f.\u00a0<\/p>\n<figure class=\"\"><figcaption>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/figcaption><\/figure>\n<h4>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0438 (Content-based Sparse attention)\u00a0<\/h4>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0446\u0435\u043b\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0430 &#8212; \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043a\u043b\u044e\u0447\u0438 (key) \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c (query), \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f \u0432\u0441\u0435\u0445 \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0445 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u043a\u0430\u043a \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0432 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0438. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043f\u043e\u0434 \u043e\u0431\u0449\u0438\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c Maximum Inner Product Search (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Maximum_inner-product_search\"><u>https:\/\/en.wikipedia.org\/wiki\/Maximum_inner-product_search<\/u><\/a>). \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438 \u043f\u0440\u043e\u0449\u0435: \u0432 Rounting Transformer (<a href=\"https:\/\/arxiv.org\/abs\/2003.05997\"><u>https:\/\/arxiv.org\/abs\/2003.05997<\/u><\/a>) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f K-means \u0434\u043b\u044f key \u0438 query \u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043a\u043b\u044e\u0447\u0438, \u043c\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0432 \u043a\u0430\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043e\u043d \u043f\u043e\u043f\u0430\u043b \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043b\u0438\u0448\u044c \u0441 \u0442\u0435\u043c\u0438 \u043a\u043b\u044e\u0447\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442 \u044d\u0442\u043e\u043c\u0443 \u0436\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443. \u0412 Reformer \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0445\u043e\u0436\u0438\u0439, \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043c\u0435\u0441\u0442\u043e K-means \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Locality Sensitivity Hashing (<a href=\"https:\/\/ru.wikipedia.org\/wiki\/Locality-sensitive_hashing\"><u>https:\/\/ru.wikipedia.org\/wiki\/Locality-sensitive_hashing<\/u><\/a>), \u0442\u0430 \u0436\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u043e\u0434\u0435: \u0434\u043b\u044f \u0431\u043b\u0438\u0437\u043a\u0438\u0445 query \u0438 key \u0431\u0443\u0434\u0443\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0445\u044d\u0448\u0438.<\/p>\n<p>\u0415\u0449\u0435 \u0434\u0432\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0432 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#8212; \u044d\u0442\u043e Sparse Adaptive Connection (<a href=\"https:\/\/proceedings.neurips.cc\/paper\/2020\/hash\/c5c1bda1194f9423d744e0ef67df94ee-Abstract.html\"><u>https:\/\/proceedings.neurips.cc\/paper\/2020\/hash\/c5c1bda1194f9423d744e0ef67df94ee-Abstract.html<\/u><\/a>) \u0438 Sparse Sinkhorn Attention (<a href=\"http:\/\/proceedings.mlr.press\/v119\/tay20a.html\"><u>http:\/\/proceedings.mlr.press\/v119\/tay20a.html<\/u><\/a>). \u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 LSTM-\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0430\u0440 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0441\u0432\u044f\u0437\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c. \u0412\u0442\u043e\u0440\u043e\u0439 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u043a\u043b\u044e\u0447\u0438 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430, \u0431\u043b\u043e\u043a\u0438. \u0417\u0430\u0442\u0435\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Sinkhorn-\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u0430\u043a\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u0432\u044f\u0437\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u043b\u043e\u043a \u043a\u043b\u044e\u0447\u0435\u0439 \u0431\u044b\u043b \u0441\u0432\u044f\u0437\u0430\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043e\u0434\u043d\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0447\u0442\u043e \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c Sortnet.\u00a0<\/p>\n<h4>\u041b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/h4>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u201c\u041b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u201d (Linearized sef-attention). \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u044b\u0441\u043b\u044c \u044d\u0442\u043e\u0439 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 <\/p>\n<p>\u0432\u0435\u0434\u0435\u0442 \u043a \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0430 \u0432\u043e\u0442 \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043d\u0435 \u0431\u0440\u0430\u043b\u0438 \u043e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e Softmax, \u0442\u043e \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c <\/p>\n<p>\u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u0436\u0435 \u043d\u0430 Q, \u0438 \u0436\u0438\u0437\u043d\u044c \u0441\u0442\u0430\u043b\u0430 \u0431\u044b \u043f\u0440\u043e\u0449\u0435. \u041a\u0430\u043a \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f? \u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0441 Q \u0438 K \u043f\u043e-\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0432 \u0438\u0445 \u0432 Q\u2019 \u0438 K\u2019, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0434\u0430\u0432\u0430\u043b\u043e \u0442\u043e\u0442 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043a\u0430\u043a \u0438 \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0444\u0442\u043c\u0430\u043a\u0441\u0430 \u043d\u0430\u0434 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c Q \u0438 K. \u042d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u043a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0432 <\/p>\n<p>\u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 <\/p>\n<p>\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0442\u0430\u043a\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043b\u0438, \u0442\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 <\/p>\n<p>\u043d\u0430 v, \u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u0436\u0435 \u0443\u043c\u043d\u043e\u0436\u0430\u0442\u044c \u043d\u0430 <\/p>\n<figure class=\"bordered full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0438\u043d\u0438\u043c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (\u0442\u043e, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0432 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0435, \u043a\u043e\u0433\u0434\u0430 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043b\u0438\u0448\u044c \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438, \u043d\u043e \u043d\u0435 \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438) \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e, \u0430 \u043b\u0438\u0448\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u044b\u043c\u0438 \u0447\u043b\u0435\u043d\u0430\u043c\u0438.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439  \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f elu(x)+1 \u0432 Linear-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 (<a href=\"http:\/\/proceedings.mlr.press\/v119\/katharopoulos20a.html\"><u>http:\/\/proceedings.mlr.press\/v119\/katharopoulos20a.html<\/u><\/a>). <\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-337409","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/337409","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=337409"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/337409\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=337409"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=337409"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=337409"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}