{"id":326837,"date":"2022-01-10T08:39:22","date_gmt":"2022-01-10T08:39:22","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=326837"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=326837","title":{"rendered":"<span>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 DeepMind AlphaFold2?<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\" class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"692\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf9\/591\/95d\/cf959195d72aac1841be073dde78d17c.png\" data-width=\"2006\"\/><figcaption><\/figcaption><\/figure>\n<p>DeepMind AlphaFold2 \u0438 Github Copilot \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u044f\u0440\u043a\u0438\u0445 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u043d\u0430\u0443\u043a\u0438 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u0432 2021 \u0433\u043e\u0434\u0443. \u0421\u043f\u0443\u0441\u0442\u044f \u0434\u0432\u0430 \u0433\u043e\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0440\u044b\u0432\u0430 AlphaFold, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0438\u0437 DeepMind \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0432\u0442\u043e\u0440\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0438\u0445 \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u043e\u0432 \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041d\u0430 \u0441\u0435\u0439 \u0440\u0430\u0437 \u0438\u043c, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0440\u0435\u0448\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0444\u043e\u043b\u0434\u0438\u043d\u0433\u0430 \u0431\u0435\u043b\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u043d\u0435\u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0431\u043e\u043b\u0435\u0435 50 \u043b\u0435\u0442. \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u043a\u0440\u0430\u0442\u043a\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u044d\u0442\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u0430\u043a \u044f \u0435\u0433\u043e \u0432\u0438\u0436\u0443. <\/p>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h2>\n<ul>\n<li>\n<p>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0442\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0432 \u0446\u0435\u043b\u043e\u043c<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438: \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 Uniprot, Mgnify; \u043f\u0430\u043a\u0435\u0442 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c HMMER<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b: \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 PDB; \u043f\u0430\u043a\u0435\u0442\u044b \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c HHpred, OpenMM<\/p>\n<\/li>\n<li>\n<p>Evoformer: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0439 \u0438 \u043f\u0430\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c: 3D \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/p>\n<ul>\n<li>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0438: \u0417\u0430\u043f\u0440\u043e\u0441\u044b (Queries), \u041a\u043b\u044e\u0447\u0438 (Keys) \u0438 \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f (Values), \u043d\u0435\u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043f\u043e\u0438\u0441\u043a \u0432 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u041c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>Evoformer: \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0439 \u0438 \u043f\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/p>\n<ul>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043e\u0441\u044f\u043c (Criss-cross (axial) attention)<\/p>\n<\/li>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u043f\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/p>\n<\/li>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u0439 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c<\/p>\n<ul>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441 \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 (Invariant Point Attention, IPA)<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u043e\u0432\u0430<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u043b\u0430\u043a\u0441\u0430\u0446\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 (OpenMM)<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c: FAPE \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0430 (refinement\/recycling)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0430\u043c\u043e\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f (self-distillation)<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438<\/p>\n<\/li>\n<\/ul>\n<h3>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438<\/h3>\n<p>\u0411\u0435\u043b\u043a\u0438 &#8212; \u044d\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043f\u043e\u043b\u0438\u043c\u0435\u0440\u044b, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0438\u0437 \u043c\u043e\u043d\u043e\u043c\u0435\u0440\u043e\u0432 &#8212; \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 &#8212; \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b. \u0422\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u043e\u0432 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043f\u043e\u043d\u044f\u0442\u044c \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430\/\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043d\u043e\u0432\u044b\u0445 \u043b\u0435\u043a\u0430\u0440\u0441\u0442\u0432.<\/p>\n<p>\u041f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u043b\u043a\u0430 \u0434\u0435\u0448\u0435\u0432\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u043c\u0430\u0441\u0441-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u043c\u0435\u0442\u0440\u0438\u0438 (\u043f\u043e\u0440\u044f\u0434\u043a\u0430 $100 \u0437\u0430 \u043e\u0431\u0440\u0430\u0437\u0435\u0446) \u0438\u043b\u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0449\u0435\u0439 \u0434\u0430\u043d\u043d\u044b\u0439 \u0431\u0435\u043b\u043e\u043a \u0414\u041d\u041a ($100-$1000 \u0437\u0430 \u044d\u043a\u0437\u043e\u043c\/\u0433\u0435\u043d\u043e\u043c). \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430 &#8212; \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u0438 \u0442\u0440\u0443\u0434\u043e\u0435\u043c\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 ($100k-$1M \u0437\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u0438\u043b\u0438 \u042f\u041c\u0420.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438 (\u0434\u0430\u043d\u043d\u044b\u0435 2003 \u0433\u043e\u0434\u0430).\" title=\"\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438 (\u0434\u0430\u043d\u043d\u044b\u0435 2003 \u0433\u043e\u0434\u0430).\" height=\"628\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f9f\/0b7\/58a\/f9f0b758a30ece2d0ddd5f938e226c3a.png\" data-width=\"1570\"\/><figcaption>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438 (\u0434\u0430\u043d\u043d\u044b\u0435 2003 \u0433\u043e\u0434\u0430).<\/figcaption><\/figure>\n<p>\u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0434\u043b\u044f \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0435\u043b\u043a\u0430 (\u0447\u0442\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e; \u0442\u0430\u043a, \u043f\u043b\u043e\u0445\u043e \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043c\u044b\u0435 \u0431\u0435\u043b\u043a\u0438 \u043f\u043b\u043e\u0445\u043e \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f), \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u0434\u0438\u0444\u0440\u0430\u043a\u0446\u0438\u0438 \u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u043c \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0435 \u0431\u0435\u043b\u043a\u0430, \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0444\u0430\u0437\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u043b\u043a\u0430 \u043f\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438. <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438. 1. \u0411\u0435\u043b\u043e\u043a \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f. 2. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u0434\u0438\u0444\u0440\u0430\u043a\u0446\u0438\u044f \u043d\u0430 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0435. 3-4. \u0420\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0444\u0430\u0437\u043e\u0432\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. 5. \u041a\u0430\u0440\u0442\u044b \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u0438 \u043f\u043e \u043d\u0438\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430.\" title=\"\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438. 1. \u0411\u0435\u043b\u043e\u043a \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f. 2. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u0434\u0438\u0444\u0440\u0430\u043a\u0446\u0438\u044f \u043d\u0430 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0435. 3-4. \u0420\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0444\u0430\u0437\u043e\u0432\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. 5. \u041a\u0430\u0440\u0442\u044b \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u0438 \u043f\u043e \u043d\u0438\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430.\" height=\"577\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3a\/9de\/ddd\/d3a9dedddce99473b2281a50a259b400.png\" data-width=\"637\"\/><figcaption>\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438. 1. \u0411\u0435\u043b\u043e\u043a \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f. 2. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u0434\u0438\u0444\u0440\u0430\u043a\u0446\u0438\u044f \u043d\u0430 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0435. 3-4. \u0420\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0444\u0430\u0437\u043e\u0432\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. 5. \u041a\u0430\u0440\u0442\u044b \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u0438 \u043f\u043e \u043d\u0438\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430.<\/figcaption><\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u0438\u0441\u0442\u0438\u043d\u043e\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u043d\u043e\u0433\u0438\u0435 \u0448\u0430\u0433\u0438 \u0432 \u043d\u0435\u043c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u0435\u0440\u0435 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u043e\u043c. \u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0438 \u043d\u0435 \u0441\u0432\u0430\u0440\u0438\u0442\u044c\u0441\u044f, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u043f\u043b\u043e\u0445\u043e \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043c\u044b\u0445 \u043c\u0435\u043c\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u043b\u043a\u043e\u0432). \u0420\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Phase_problem\" rel=\"noopener noreferrer nofollow\">\u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0444\u0430\u0437\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/a> \u043d\u0435\u043c\u0430\u043b\u043e. \u041f\u043e \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043a\u0430\u0440\u0442\u0435 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f) \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0442\u043e\u0440\u0430 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e (\u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 10-20%) \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439. \u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0431\u0435\u043b\u043a\u0438 \u0432 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0435 \u0436\u0438\u0432\u0443\u0442 \u0438 &#171;\u0434\u044b\u0448\u0430\u0442&#187;, \u0438 \u0438\u0445 \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 &#171;\u0436\u0438\u0432\u043e\u0439&#187; \u0431\u0435\u043b\u043e\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0435\u0440\u0435, \u0432 \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0442\u0440\u0443\u043f\u043e\u0432, \u0441\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0448\u0442\u0430\u0431\u0435\u043b\u044f\u043c\u0438 \u0432 \u043c\u043e\u0440\u0433\u0435, \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0436\u0438\u0432\u044b\u0445 \u043b\u044e\u0434\u0435\u0439. \u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f, \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044b\u0439 AlphaFold2 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c, \u043c\u0430\u043b\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0443\u0440\u043e\u0432\u043d\u044f \u0440\u0430\u0437\u043d\u043e\u0433\u043b\u0430\u0441\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u0440\u0443\u043f\u043f, \u0434\u0435\u043b\u0430\u044e\u0449\u0438\u0445 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0431\u0435\u043b\u043a\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u0447\u0438\u0442\u0430\u044e, \u0447\u0442\u043e AF2 \u0441\u043a\u043e\u0440\u0435\u0435 \u0440\u0435\u0448\u0438\u043b \u0437\u0430\u0434\u0430\u0447\u0443 \u0444\u043e\u043b\u0434\u0438\u043d\u0433\u0430 \u0431\u0435\u043b\u043a\u0430, \u0447\u0435\u043c \u043d\u0435 \u0440\u0435\u0448\u0438\u043b (\u043f\u0443\u0441\u0442\u044c \u0438 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430\u043c\u0438).<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043e\u0442 AlphaFold2 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043d\u043e\u0432\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430, \u0438\u043c\u0435\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0431\u0435\u043b\u043a\u043e\u0432 \u0438\u0437 \u043e\u0431\u0449\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0411\u0435\u043b\u043a\u043e\u0432\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0431\u0435\u043b\u043a\u043e\u0432 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0432 \u0431\u0430\u043d\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0<a href=\"https:\/\/www.uniprot.org\/\" rel=\"noopener noreferrer nofollow\">Uniprot<\/a>\u00a0(\u0433\u0434\u0435 \u0438\u0445 \u0431\u043e\u043b\u0435\u0435 200 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432) \u0438 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0<a href=\"https:\/\/www.ebi.ac.uk\/metagenomics\/\" rel=\"noopener noreferrer nofollow\">MGnify<\/a> (\u043e \u043d\u0435\u0439 &#8212; \u043f\u043e\u0437\u0436\u0435).<\/p>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u043e\u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0432 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0<a href=\"https:\/\/www.rcsb.org\/\" rel=\"noopener noreferrer nofollow\">PDB<\/a> (\u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0435\u0439 \u043c\u0435\u043d\u0435\u0435 200 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440). \u0412 \u043d\u0435\u0439 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0444\u0430\u0439\u043b\u044b .pdb \u0441\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430\u043c\u0438 \u0431\u0435\u043b\u043a\u043e\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u0439\u043b \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0432\u0441\u0435\u0445 \u0430\u0442\u043e\u043c\u043e\u0432 \u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u044f\u0436\u0435\u043b\u044b\u0445 \u0430\u0442\u043e\u043c\u043e\u0432 (\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u0430\u0442\u043e\u043c\u043e\u0432 \u0432\u043e\u0434\u043e\u0440\u043e\u0434\u0430) \u0431\u0435\u043b\u043a\u0430.<\/p>\n<h2>\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f AlphaFold2<\/h2>\n<p>\u041c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430\u00a0<em>in silico<\/em>, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u0439 \u0444\u0438\u0437\u0438\u043a\u0435, \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0445 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c. \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c.<\/p>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0431\u0435\u043b\u043a\u0438 \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u044b \u0432 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043b\u043e\u0448\u0430\u0434\u0438 \u0438\u043b\u0438 \u0440\u044b\u0431\u044b \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u0433\u0435\u043c\u043e\u0433\u043b\u043e\u0431\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430. \u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0431\u0435\u043b\u043a\u0430 \u0443 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f <em>\u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0430\u043c\u0438<\/em>.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0430\u0441\u0441\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u043d\u043e\u0441\u044f\u0442 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440 (\u0442.\u0435. \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043c\u0443\u0442\u0430\u0446\u0438\u0439 \u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0431\u0435\u043b\u043a\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445 \u0431\u0435\u043b\u043a\u043e\u0432 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043c\u0435\u043d). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u043e\u0432 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u0435\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u043b\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u0432\u0438\u0434\u0430\u043c\u0438\u00a0\u0438\u0437\u043c\u0435\u043d\u0438\u0430\u043b\u0441\u044c \u043d\u0430 70%, \u0430 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u0430 \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c. \u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u0443\u044e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0431\u0435\u043b\u043a\u0430\u0445, \u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0431\u0435\u043b\u043a\u043e\u0432 \u0432 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435\u043c<\/em> (multiple sequence alignment, MSA). \u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u043b\u043a\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u044f\u0434\u044b, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0443 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u0438\u0445 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u0445.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0412\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0431\u0435\u043b\u043a\u043e\u0432 (\u0441\u043b\u0435\u0432\u0430) \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u0430 (\u0441\u043f\u0440\u0430\u0432\u0430). \u041d\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0432\u0430\u0440\u0438\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0435, \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0438 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u043c\u0438 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u043c\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 \u0438 \u0442\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u044b \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.\" title=\"\u0412\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0431\u0435\u043b\u043a\u043e\u0432 (\u0441\u043b\u0435\u0432\u0430) \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u0430 (\u0441\u043f\u0440\u0430\u0432\u0430). \u041d\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0432\u0430\u0440\u0438\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0435, \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0438 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u043c\u0438 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u043c\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 \u0438 \u0442\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u044b \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.\" height=\"1629\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c4\/f63\/df4\/9c4f63df44d20d68967f9ef9e33b080c.png\" data-width=\"2426\"\/><figcaption>\u0412\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0431\u0435\u043b\u043a\u043e\u0432 (\u0441\u043b\u0435\u0432\u0430) \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u0430 (\u0441\u043f\u0440\u0430\u0432\u0430). \u041d\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0432\u0430\u0440\u0438\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0435, \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0438 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u043c\u0438 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u043c\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 \u0438 \u0442\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u044b \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.<\/figcaption><\/figure>\n<p>\u041a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0432\u0430\u0436\u043d\u0430 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0431\u0435\u043b\u043a\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043a\u0430\u0442\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438 \u0443\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u043d\u0438\u044f. \u0413\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u0435\u0441\u043b\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u043d\u0438\u044f \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u043d, \u0442\u043e \u0432\u0441\u0435 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u044b, \u0432 \u0431\u0435\u043b\u043a\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0437\u0430\u043c\u0435\u043d\u0430 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u0432\u044b\u043c\u0435\u0440\u043b\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u044d\u0442\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0432\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435.<\/p>\n<p>\u041a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 (\u0438, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438\u0445 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435). \u042d\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0436\u0438\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430.<\/p>\n<p>\u0425\u043e\u0447\u0443 \u0442\u0430\u043a\u0436\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0440\u043e\u043b\u044c \u043c\u0435\u0442\u0430\u0433\u0435\u043d\u043e\u043c\u0438\u043a\u0438 \u0432 \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u0445 \u0443\u0441\u043f\u0435\u0445\u0430\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440. \u041e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u043b\u043a\u0438 \u0432 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u0440\u043e\u0434\u0435 Uniprot \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u0438\u0437 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u0443\u043b\u044c\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041e\u0434\u043d\u0430\u043a\u043e, \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0438\u043a\u0440\u043e\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u043e\u0432 \u0432 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0432\u044b\u0440\u0430\u0449\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f, \u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0431\u0435\u043b\u043a\u043e\u0432 \u0432 \u043d\u0438\u0445 \u043e\u0433\u0440\u043e\u043c\u043d\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 2000-\u044b\u0435 \u0433\u043e\u0434\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u043e\u0448\u043b\u0438 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438: \u043e\u043d\u0438 \u0441\u0442\u0430\u043b\u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u0438\u0434\u044b, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0437\u0446\u044b \u0438\u0437 \u0441\u0440\u0435\u0434\u044b, \u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u044e \u0414\u041d\u041a \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0431\u0443\u043b\u044c\u043e\u043d\u0430. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 &#171;\u043c\u0435\u0442\u0430\u0433\u0435\u043d\u043e\u043c\u043d\u044b\u0435&#187; \u043e\u0431\u0440\u0430\u0437\u0446\u044b \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043c\u0430\u0441\u0441\u0443 \u043d\u043e\u0432\u044b\u0445 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0431\u0435\u043b\u043a\u043e\u0432, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u0438\u0437 \u043d\u0438\u0445 \u043f\u043e\u0432\u044b\u0441\u0438\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u0431\u0435\u043b\u043a\u043e\u0432 \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 2010-\u044b\u0445. AlphaFold2 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u0430\u043a\u0443\u044e \u043c\u0435\u0442\u0430\u0433\u0435\u043d\u043e\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 MGnify, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a Uniprot.<\/p>\n<h3>\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 AlphaFold2<\/h3>\n<p>\u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0442\u0435\u0440\u043c\u0438\u043d \u201cAlphaFold2\u201d \u0432 \u0434\u0432\u0443\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u0445: \u0432 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e \u0432\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0430\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c \u0438 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0443\u0437\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u043b\u0435\u0436\u0430\u0449\u0430\u044f \u0432 \u0441\u0435\u0440\u0434\u0446\u0435 \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0430.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b AlphaFold2 \u0441 \u0432\u044b\u0441\u043e\u0442\u044b \u043f\u0442\u0438\u0447\u044c\u0435\u0433\u043e \u043f\u043e\u043b\u0435\u0442\u0430.\" title=\"\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b AlphaFold2 \u0441 \u0432\u044b\u0441\u043e\u0442\u044b \u043f\u0442\u0438\u0447\u044c\u0435\u0433\u043e \u043f\u043e\u043b\u0435\u0442\u0430.\" height=\"692\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/17c\/e9c\/20c\/17ce9c20c1bb191bcbe2341964b26253.png\" data-width=\"2006\"\/><figcaption>\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b AlphaFold2 \u0441 \u0432\u044b\u0441\u043e\u0442\u044b \u043f\u0442\u0438\u0447\u044c\u0435\u0433\u043e \u043f\u043e\u043b\u0435\u0442\u0430.<\/figcaption><\/figure>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 AlphaFold2 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u043b\u043a\u0430. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0448\u0430\u0433\u0435 \u043e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u0438\u0437 \u043f\u0430\u043a\u0435\u0442\u0430 HMMER \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 Uniprot \u0438 MGnify. \u041f\u0430\u043a\u0435\u0442 HMMER \u0431\u044b\u043b \u0441\u043e\u0437\u0434\u0430\u043d \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 2000-\u044b\u0445, \u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u041c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445\/\u041c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u0446\u0435\u043f\u044f\u0445. \u0422\u043e\u0433\u0434\u0430 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043b \u0432 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0438\/\u0441\u0438\u043d\u0442\u0435\u0437\u0435 \u0440\u0435\u0447\u0438, \u0438 \u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u043a\u0438 \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0435\u0433\u043e \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u043d\u0443\u0436\u0434. HMMER \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0438 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u0432 \u0431\u0430\u0437\u0430\u0445 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d \u043d\u0430\u0448\u0435\u043b.<\/p>\n<p>AF2 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0430\u043a\u0435\u0442 HH-suite \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u043f\u043e \u0431\u0430\u043d\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 PDB, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0430\u043c \u043f\u043e\u0434\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u043d\u0430\u043c \u043f\u043e\u0432\u0435\u0437\u043b\u043e, \u0438 \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0438\u0437 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u043b\u043a\u0430 \u0443\u0436\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0430, \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u0440\u0430\u0442\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442\u0441\u044f &#8212; \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c, \u0433\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043d\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u043d\u0430 \u044d\u0442\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443. \u041e\u0434\u043d\u0430\u043a\u043e, \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0434\u043b\u044f 0.1% \u0431\u0435\u043b\u043a\u043e\u0432 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0443\u0436\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d.<\/p>\n<p>\u0415\u0441\u043b\u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u043d\u0430\u0448\u043b\u0430\u0441\u044c, \u0442\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0435\u0435 AF2 \u0441\u0442\u0440\u043e\u0438\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 &#8212; \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 i-\u043e\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b \u0441 j-\u043e\u0439. \u0415\u0441\u043b\u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0435 \u043d\u0430\u0448\u043b\u043e\u0441\u044c, \u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 AF2 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 <a href=\"https:\/\/datascience.stackexchange.com\/questions\/53995\/what-does-embedding-mean-in-machine-learning\" rel=\"noopener noreferrer nofollow\">\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/a>\u00a0\u0438\u0437 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0432 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u0438 \u0438\u0437 \u043f\u0430\u0440 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0432 \u043f\u0430\u0440\u043d\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438. \u042f \u043d\u0435 \u0431\u0443\u0434\u0443 \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u0442\u044c\u0441\u044f \u0432 \u0442\u043e, \u043a\u0430\u043a \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u043d\u0435\u0442\u0440\u0443\u0434\u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432. \u0422\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u0434\u043b\u044f \u0442\u043e\u043d\u043a\u0438\u0445 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u0435\u043d\u0435\u0435 30 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, AlphaFold2 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e &#8212; \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u0442\u0435\u043d, \u0442\u043e \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043f\u043b\u043e\u0445\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0440\u0430\u0441\u0442\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0445\u043e\u0434\u0430. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u044f\u0434\u0440\u043e AlphaFold2: end-to-end \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. \u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0438\u0445 \u043d\u0430 \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0441\u043b\u043e\u044f\u0445, \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435.<\/p>\n<p>\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 2 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0441\u0443\u0431-\u043c\u043e\u0434\u0443\u043b\u0435\u0439:<\/p>\n<ul>\n<li>\n<p>\u041c\u043e\u0434\u0443\u043b\u044c Evoformer \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 48 \u043e\u0434\u043d\u043e\u0442\u0438\u043f\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043f\u043e \u0441\u0443\u0442\u0438, \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u0443\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u043c\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 .<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 8 \u043e\u0434\u043d\u043e\u0442\u0438\u043f\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0431\u0435\u043b\u043a\u0430 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043d\u0430\u0448\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u043e\u043d \u0432\u044b\u0440\u0435\u0437\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f), \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043d\u0435\u043a\u0430\u044f 3D-\u0441\u0442\u0443\u043a\u0440\u0443\u0442\u0440\u0430 \u0431\u044b\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0438\u0437 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0430\u043a\u0435\u0442 OpenMM, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0440\u0435\u043b\u0430\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443.<\/p>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0442\u0440\u0438\u0436\u0434\u044b \u0432 \u0445\u043e\u0434\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043f\u043e\u0434 \u043d\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u0435\u043c &#171;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0430&#187; (recycling).<\/p>\n<h3>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/h3>\n<p>\u041a\u0430\u043a \u0431\u044b\u043b\u043e \u0441\u043a\u0430\u0437\u0430\u043d\u043e \u0432\u044b\u0448\u0435, \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u043b\u0435\u0436\u0430\u0449\u0430\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 AlphaFold2, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u042f \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044e \u0438\u0445 \u0434\u0430\u043b\u0435\u0435. \u0421\u043c\u0435\u043b\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0439\u0442\u0435 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437\u0434\u0435\u043b, \u0435\u0441\u043b\u0438 \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b \u0441 \u044d\u0442\u0438\u043c\u0438 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c\u0438.<\/p>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0448\u0438\u0440\u043e\u043a\u0443\u044e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 2014-2015 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 (\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0441 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043d\u0430 \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439). \u041d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0431\u044b\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 (RNN). <\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a \u043d\u0438\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430. \u041f\u043e\u0437\u0434\u043d\u0435\u0435 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043e\u0442 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0432\u043e\u0432\u0441\u0435, \u0438 \u043d\u0430\u0441\u043b\u043e\u0438\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e\u0442\u0438\u043f\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0435\u0445 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0447\u0442\u043e \u0438 \u0441 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0432 100 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432.<\/p>\n<p>\u041a 2017 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u043c \u0438 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432 \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0437\u0432\u0443\u043a\u0430 \u0438 \u0442.\u0434.<\/p>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438. \u0411\u043b\u043e\u043a Evoformer AlphaFold2, \u043a\u0430\u043a \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u043d\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0434\u0430 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c, \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u0442\u043e\u0436\u0435).<\/p>\n<h4>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/h4>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043d\u0435\u0441\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0432 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c), \u0438 \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u043a \u043d\u0435\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u0440\u0444\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430.<\/p>\n<p>\u041c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0448\u0430 \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u043a\u043b\u044e\u0447\u043e\u043c \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u0442\u0430\u043a\u0443\u044e \u0447\u0442\u043e \u0432\u0435\u0441 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0432\u0435\u043d \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0438\u043c\u0435\u043b \u0432 \u0432\u0438\u0434\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u0435\u043c\u0443 \u043a\u043b\u044e\u0447.<\/p>\n<p><img class=\"formula\" source=\"Attention(q, K, V) = \\sum \\limits_{i=1}^{N} &lt;q, K_i> V_i&#187; alt=&#187;Attention(q, K, V) = \\sum \\limits_{i=1}^{N} &lt;q, K_i> V_i&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9e\/9cb\/eca\/d9e9cbecaa197a1809ec929a264b9f02.svg&#187; width=&#187;325&#8243; height=&#187;60&#8243;\/><\/p>\n<pre><code class=\"python\"> # Suppose that we have a key-value database and implement a fuzzy search in it  database = {     \"Ivanov\": 25,     \"Petrov\": 100,     \"Sidorov\": 5 }  query = \"Pvanov\"  # note the typo in query   def hamming_distance(query: str, key: str) -> int:     distance = 0     for i, _ in enumerate(query):         if query[i] != key[i]:             distance += 1      return distance   # construct a vector of similarities between query and keys # similarity=1 if query=key;  # similarity=0 if there is nothing in common between query and key similarities = {} for key in database:     similarities[key] = (1 - hamming_distance(query, key) \/ len(query))  print(f\"Similarities before softmax: {similarities}\")      output = 0 for key, value in database.items():     output += similarities[key] * value      output<\/code><\/pre>\n<pre><code>Similarities before softmax: {'Ivanov': 0.8333333333333334, 'Petrov': 0.5, 'Sidorov': 0.0} 70.83333333333334<\/code><\/pre>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043a\u043e\u0434\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c: \u0432\u043c\u0435\u0441\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e \u043f\u043e\u0434 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043b \u043a\u043b\u044e\u0447, \u043c\u044b \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u043a\u043b\u044e\u0447\u043e\u043c. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0443\u043c\u043c\u0430 \u044d\u0442\u0438\u0445 \u043c\u0435\u0440 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 1, \u0438 \u0438\u0445 \u043d\u0435\u043b\u044c\u0437\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u043c\u0435\u0440\u0443 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430, \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0441\u0443\u043c\u043c\u0430 \u0440\u0430\u0432\u043d\u044f\u043b\u0430\u0441\u044c 1. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f Softmax:<\/p>\n<p><img class=\"formula\" source=\"Attention(q,K,V)=  \u2211 \\limits_{i=1}^N \u200b  Softmax(&lt;q, K_ i \u200b  >)V_i \u200b&#187; alt=&#187;Attention(q,K,V)=  \u2211 \\limits_{i=1}^N \u200b  Softmax(&lt;q, K_ i \u200b  >)V_i \u200b&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/269\/4b4\/452\/2694b4452003e9285b0fd2dfe893fe49.svg&#187; width=&#187;409&#8243; height=&#187;60&#8243;\/><\/p>\n<p>\u0433\u0434\u0435 Softmax \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Softmax(E_i) =  \\frac{e^{E_i}}{\\sum \\limits_j e^{E_j}}\" alt=\"Softmax(E_i) =  \\frac{e^{E_i}}{\\sum \\limits_j e^{E_j}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08e\/af8\/b06\/08eaf8b0612f9e005f9c8d1be0a946b9.svg\" width=\"199\" height=\"70\"\/><\/p>\n<pre><code class=\"python\"># However, note that the sum of similarities in previous solution was more than 1. # We probably want to preserve the sum of similarities equal to 1. # Hence, apply Softmax to similarities vector to normalize it. import math   def softmax(weights: dict) -> dict:     \"\"\"Transform a dict of weights into a dict with sum of weights normalized to 1.\"\"\"     # Calculate statistical sum (softmax denominator)     zustandssumme = 0     for key, weight in weights.items():         zustandssumme += math.exp(weight)          return { key: math.exp(weight)\/zustandssumme for key, weight in weights.items() }   similarities = softmax(similarities) print(f\"Similarities after softmax: {similarities}\")  output = 0 for key, value in database.items():     output += similarities[key] * value      output<\/code><\/pre>\n<pre><code>Similarities after softmax: {'Ivanov': 0.4648720549505913, 'Petrov': 0.33309538278287776, 'Sidorov': 0.202032562266531} 45.94150246338521<\/code><\/pre>\n<p>Softmax &#8212; \u044d\u0442\u043e \u043f\u043e \u0441\u0443\u0442\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u043e\u0433 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b. \u041f\u043e\u0434\u043e\u0431\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d [0,1], \u0442\u0430\u043a \u0447\u0442\u043e \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, Softmax \u0434\u0435\u043b\u0430\u0435\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0432 \u043c\u0443\u043b\u044c\u0442\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u0414\u0440\u0443\u0433\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0434\u0443\u043c\u0430\u0442\u044c \u043e Softmax &#8212; \u044d\u0442\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0435\u0433\u043e \u043a\u0430\u043a \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u0444\u0438\u0437\u0438\u043a\u0438.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0432\u0430 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043a\u0430\u043a \u0432 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u043c \u0432\u044b\u0448\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0446\u0435\u043b\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 (\u0432\u0435\u043a\u0442\u043e\u0440) \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e-\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445.<\/p>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043e\u0431\u044b\u0447\u043d\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u043a\u043b\u044e\u0447\u0438 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f &#8212; \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u044b. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0440\u044b \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0432 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430\u0445 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 (\u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u043d\u0430 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c).<\/p>\n<p>\u0412\u043e\u0442 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u201cAttention is all you need paper\u201d (\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0439\u0442\u0435 \u0431\u043b\u043e\u043a &#171;Mask&#187; \u043d\u0430 \u044d\u0442\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435, \u043e\u043d \u043d\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u0435\u043d \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435):<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Scaled Dot-Product Attention). \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Q), \u043a\u043b\u044e\u0447\u0435\u0439 (K) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V), \u043a\u0430\u0436\u0434\u044b\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u043c \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043b\u044e\u0447\u0430 \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0414\u0430\u043b\u0435\u0435 \u0431\u043b\u043e\u043a MatMul \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u043e\u0439 (\u0437\u0430\u043f\u0440\u043e\u0441, \u043a\u043b\u044e\u0447). \u0411\u043b\u043e\u043a Scale \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438\u0437 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0411\u043b\u043e\u043a Mask \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u0435\u043d \u0438 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 AlphaFold2. \u0411\u043b\u043e\u043a Softmax \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 Softmax \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043e\u0434\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0438 \u0440\u0430\u0437\u043d\u044b\u043c \u043a\u043b\u044e\u0447\u0430\u043c, \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f \u0438\u0445 \u0432 \u0442\u0430\u043a\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u0447\u0442\u043e \u0438\u0445 \u0441\u0443\u043c\u043c\u0430 \u0440\u0430\u0432\u043d\u0430 1. \u0411\u043b\u043e\u043a MatMul \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430-\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 Q \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440-\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V) \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u0440\u0430\u0432\u043d\u044b\u043c\u0438 \u0432\u044b\u0445\u043e\u0434\u0443 \u0431\u043b\u043e\u043a\u0430 Softmax \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430-\u0437\u0430\u043f\u0440\u043e\u0441\u0430.\" title=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Scaled Dot-Product Attention). \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Q), \u043a\u043b\u044e\u0447\u0435\u0439 (K) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V), \u043a\u0430\u0436\u0434\u044b\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u043c \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043b\u044e\u0447\u0430 \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0414\u0430\u043b\u0435\u0435 \u0431\u043b\u043e\u043a MatMul \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u043e\u0439 (\u0437\u0430\u043f\u0440\u043e\u0441, \u043a\u043b\u044e\u0447). \u0411\u043b\u043e\u043a Scale \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438\u0437 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0411\u043b\u043e\u043a Mask \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u0435\u043d \u0438 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 AlphaFold2. \u0411\u043b\u043e\u043a Softmax \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 Softmax \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043e\u0434\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0438 \u0440\u0430\u0437\u043d\u044b\u043c \u043a\u043b\u044e\u0447\u0430\u043c, \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f \u0438\u0445 \u0432 \u0442\u0430\u043a\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u0447\u0442\u043e \u0438\u0445 \u0441\u0443\u043c\u043c\u0430 \u0440\u0430\u0432\u043d\u0430 1. \u0411\u043b\u043e\u043a MatMul \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430-\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 Q \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440-\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V) \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u0440\u0430\u0432\u043d\u044b\u043c\u0438 \u0432\u044b\u0445\u043e\u0434\u0443 \u0431\u043b\u043e\u043a\u0430 Softmax \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430-\u0437\u0430\u043f\u0440\u043e\u0441\u0430.\" height=\"528\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f4\/937\/e17\/8f4937e17a15c383442ea743593d10e7.png\" data-width=\"390\"\/><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Scaled Dot-Product Attention). \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Q), \u043a\u043b\u044e\u0447\u0435\u0439 (K) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V), \u043a\u0430\u0436\u0434\u044b\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u043c \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043b\u044e\u0447\u0430 \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0414\u0430\u043b\u0435\u0435 \u0431\u043b\u043e\u043a MatMul \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u043e\u0439 (\u0437\u0430\u043f\u0440\u043e\u0441, \u043a\u043b\u044e\u0447). \u0411\u043b\u043e\u043a Scale \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438\u0437 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0411\u043b\u043e\u043a Mask \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u0435\u043d \u0438 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 AlphaFold2. \u0411\u043b\u043e\u043a Softmax \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 Softmax \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043e\u0434\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0438 \u0440\u0430\u0437\u043d\u044b\u043c \u043a\u043b\u044e\u0447\u0430\u043c, \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f \u0438\u0445 \u0432 \u0442\u0430\u043a\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u0447\u0442\u043e \u0438\u0445 \u0441\u0443\u043c\u043c\u0430 \u0440\u0430\u0432\u043d\u0430 1. \u0411\u043b\u043e\u043a MatMul \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430-\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 Q \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440-\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V) \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u0440\u0430\u0432\u043d\u044b\u043c\u0438 \u0432\u044b\u0445\u043e\u0434\u0443 \u0431\u043b\u043e\u043a\u0430 Softmax \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430-\u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/figcaption><\/figure>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0445\u043e\u0434 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0438\u0437 3 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, 3 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 3 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u043a\u043b\u044e\u0447 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 256.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Q = \\begin{pmatrix} q_{1,1} &amp;&amp; q_{1,2} &amp;&amp; ... &amp;&amp; q_{1,256} \\\\ q_{2,1} &amp;&amp; q_{2,2} &amp;&amp; ... &amp;&amp; q_{2,256} \\\\ q_{3, 1} &amp;&amp; q_{3, 2} &amp;&amp; ... &amp;&amp; q_{3, 256} \\end{pmatrix}\" alt=\"Q = \\begin{pmatrix} q_{1,1} &amp;&amp; q_{1,2} &amp;&amp; ... &amp;&amp; q_{1,256} \\\\ q_{2,1} &amp;&amp; q_{2,2} &amp;&amp; ... &amp;&amp; q_{2,256} \\\\ q_{3, 1} &amp;&amp; q_{3, 2} &amp;&amp; ... &amp;&amp; q_{3, 256} \\end{pmatrix}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/096\/2d5\/6be\/0962d56bea00c4e241139dd4c78fb09d.svg\" width=\"321\" height=\"82\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"K = \\begin{pmatrix} k_{1,1} &amp;&amp; k_{1,2} &amp;&amp; ... &amp;&amp; k_{1,256} \\\\ k_{2,1} &amp;&amp; k_{2,2} &amp;&amp; ... &amp;&amp; k_{2,256} \\\\ k_{3, 1} &amp;&amp; k_{3, 2} &amp;&amp; ... &amp;&amp; k_{3, 256} \\end{pmatrix}\" alt=\"K = \\begin{pmatrix} k_{1,1} &amp;&amp; k_{1,2} &amp;&amp; ... &amp;&amp; k_{1,256} \\\\ k_{2,1} &amp;&amp; k_{2,2} &amp;&amp; ... &amp;&amp; k_{2,256} \\\\ k_{3, 1} &amp;&amp; k_{3, 2} &amp;&amp; ... &amp;&amp; k_{3, 256} \\end{pmatrix}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/933\/01b\/a73\/93301ba7380083b3de3cbc81c5243252.svg\" width=\"328\" height=\"82\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"V = \\begin{pmatrix} v_{1,1} &amp;&amp; v_{1,2} &amp;&amp; ... &amp;&amp; v_{1,256} \\\\ v_{2,1} &amp;&amp; v_{2,2} &amp;&amp; ... &amp;&amp; v_{2,256} \\\\ v_{3, 1} &amp;&amp; v_{3, 2} &amp;&amp; ... &amp;&amp; v_{3, 256} \\end{pmatrix}\" alt=\"V = \\begin{pmatrix} v_{1,1} &amp;&amp; v_{1,2} &amp;&amp; ... &amp;&amp; v_{1,256} \\\\ v_{2,1} &amp;&amp; v_{2,2} &amp;&amp; ... &amp;&amp; v_{2,256} \\\\ v_{3, 1} &amp;&amp; v_{3, 2} &amp;&amp; ... &amp;&amp; v_{3, 256} \\end{pmatrix}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/865\/244\/282\/865244282ef70666b5d4f7e8358f1f63.svg\" width=\"323\" height=\"82\"\/><\/p>\n<p>\u0412\u043e\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 PyTorch:<\/p>\n<pre><code class=\"python\">import torch import torch.nn as nn import torch.nn.functional as F   def attention(query, key, value, mask=None, dropout=None):     \"\"\"Compute 'Scaled Dot Product Attention'.          Mostly stolen from: http:\/\/nlp.seas.harvard.edu\/2018\/04\/03\/attention.html.     \"\"\"      # MatMul and Scale     d_k = query.size(-1)     scores = torch.matmul(query, key.transpose(-2, -1)) \/ math.sqrt(d_k)          # Mask (optional)     if mask is not None:         scores = scores.masked_fill(mask == 0, -1e9)          # Softmax     p_attn = F.softmax(scores, dim = -1)          # MatMul     if dropout is not None:         p_attn = dropout(p_attn)          return torch.matmul(p_attn, value), p_attn<\/code><\/pre>\n<h4>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u0433\u043e\u043b\u043e\u0432<\/h4>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0432\u0430\u0448\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u043a\u043b\u044e\u0447\u0438 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"X_i = \\begin{pmatrix} x_{i,1} \\\\ x_{i,2} \\\\ ... \\\\ x_{i, 256} \\end{pmatrix}\" alt=\"X_i = \\begin{pmatrix} x_{i,1} \\\\ x_{i,2} \\\\ ... \\\\ x_{i, 256} \\end{pmatrix}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39a\/b14\/6b2\/39ab146b24bd042d1e802e28979d25ed.svg\" width=\"132\" height=\"110\"\/><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u00a0x_{i,1}\u200b\u00a0\u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043c\u043e\u0441\u0442\u044c \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b, \u0432\u0442\u043e\u0440\u0430\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430,\u00a0x_{i,2}\u00a0&#8212; \u0435\u0435 \u0440\u0430\u0437\u043c\u0435\u0440, \u0442\u0440\u0435\u0442\u044c\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u00a0x_{i,3}\u200b\u00a0&#8212; \u0435\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u0440\u044f\u0434, \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u0430\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u00a0x_{i,4}\u00a0&#8212; \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u0440\u044f\u0434.<\/p>\n<p>\u041d\u0430\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0430\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c\u044b \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b S \u0438 D \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430\u0445?<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043c\u0430\u044f \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0430, \u043e\u043d\u0438 \u0432\u043f\u043e\u043b\u043d\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c\u044b. \u0415\u0441\u043b\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u0437\u0430\u0440\u044f\u0436\u0435\u043d\u043d\u0430\u044f \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0430, \u043e\u043d\u0438 \u043d\u0435 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u0438 \u0432 \u044d\u0442\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435.<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u043f\u0440\u043e\u0435\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0443 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e &#171;\u0437\u0430\u0440\u044f\u0436\u0435\u043d\u043d\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0430&#187;. \u041d\u0430\u0448\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c 2, \u0433\u0434\u0435 \u043f\u0435\u0440\u0432\u0430\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 \u0437\u0430\u0440\u044f\u0434\u0430, \u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430 &#8212; \u0440\u0430\u0437\u043c\u0435\u0440\u0443:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"W = \\begin{pmatrix} w_{charge,1} &amp;&amp; w_{charge,2} &amp;&amp; ... &amp;&amp; w_{charge,256} \\\\ w_{size,1} &amp;&amp; w_{size,2} &amp;&amp; ... &amp;&amp; w_{size,256} \\\\\\end{pmatrix} =\" alt=\"W = \\begin{pmatrix} w_{charge,1} &amp;&amp; w_{charge,2} &amp;&amp; ... &amp;&amp; w_{charge,256} \\\\ w_{size,1} &amp;&amp; w_{size,2} &amp;&amp; ... &amp;&amp; w_{size,256} \\\\\\end{pmatrix} =\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6f\/1bb\/ead\/e6f1bbead2f783dab525333b417e8759.svg\" width=\"459\" height=\"54\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"= \\begin{pmatrix} 0 &amp;&amp; 0 &amp;&amp; 1 &amp;&amp; -1 &amp;&amp; ... \\\\ 0 &amp;&amp; 1 &amp;&amp; 0 &amp;&amp; 0 &amp;&amp; ... \\end{pmatrix}\" alt=\"= \\begin{pmatrix} 0 &amp;&amp; 0 &amp;&amp; 1 &amp;&amp; -1 &amp;&amp; ... \\\\ 0 &amp;&amp; 1 &amp;&amp; 0 &amp;&amp; 0 &amp;&amp; ... \\end{pmatrix}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a67\/26c\/b85\/a6726cb857341f695ab5b50193ee494c.svg\" width=\"289\" height=\"50\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0440\u0430\u0437\u0440\u0435\u0437\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043a 2 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0430\u043c. \u0421\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p><img class=\"formula\" source=\"&lt;q, k> = Softmax(q^TW^T Wk)&#187; alt=&#187;&lt;q, k> = Softmax(q^TW^T Wk)&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a33\/63e\/03f\/a3363e03fb52efd8d9fd601557572169.svg&#187; width=&#187;268&#8243; height=&#187;25&#8243;\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0435\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043c\u0435\u0436\u0434\u0443 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0430\u043c\u0438, \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.<\/p>\n<p>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 + \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0437\u0430 \u043d\u0435\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u043d\u043e\u0441\u044f\u0442 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 <em>\u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. <\/em>\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u041e\u0431\u044b\u0447\u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f h \u0433\u043e\u043b\u043e\u0432.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0432\u0435\u043a\u0442\u043e\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 X_i. \u0422\u0430\u043a\u043e\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0433\u0434\u0435 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 Q, K, V = X_i \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/em> (<em>self-attention)<\/em>. \u0412\u0441\u0435 \u044d\u0442\u0438 \u0432\u0445\u043e\u0434\u044b \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0435\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 W, \u0430 \u043f\u043e\u0442\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0448\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u043b\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Q), \u043a\u043b\u044e\u0447\u0435\u0439 (K) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V). \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0441\u0435 \u043e\u043d\u0438 - \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 X. \u041a \u043d\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f h \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 h \u0433\u043e\u043b\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0442\u0440\u0438\u0446 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f W_h (\u0431\u043b\u043e\u043a Linear), \u0434\u0430\u043b\u0435\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (\u0431\u043b\u043e\u043a Scaled Dot-Product Attention), \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 (\u0431\u043b\u043e\u043a Concat), \u0438 \u043e\u043d \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c Linear.\" title=\"\u041c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u043b\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Q), \u043a\u043b\u044e\u0447\u0435\u0439 (K) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V). \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0441\u0435 \u043e\u043d\u0438 - \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 X. \u041a \u043d\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f h \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 h \u0433\u043e\u043b\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0442\u0440\u0438\u0446 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f W_h (\u0431\u043b\u043e\u043a Linear), \u0434\u0430\u043b\u0435\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (\u0431\u043b\u043e\u043a Scaled Dot-Product Attention), \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 (\u0431\u043b\u043e\u043a Concat), \u0438 \u043e\u043d \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c Linear.\" height=\"528\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e0\/5f8\/595\/5e05f85953d9be4546c1404bef12f8cf.png\" data-width=\"435\"\/><figcaption>\u041c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u043b\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u041d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Q), \u043a\u043b\u044e\u0447\u0435\u0439 (K) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (V). \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0441\u0435 \u043e\u043d\u0438 &#8212; \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 X. \u041a \u043d\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f h \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 h \u0433\u043e\u043b\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0442\u0440\u0438\u0446 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f W_h (\u0431\u043b\u043e\u043a Linear), \u0434\u0430\u043b\u0435\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (\u0431\u043b\u043e\u043a Scaled Dot-Product Attention), \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 (\u0431\u043b\u043e\u043a Concat), \u0438 \u043e\u043d \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c Linear.<\/figcaption><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0432\u044b\u0445\u043e\u0434\u044b \u0441\u043e \u0432\u0441\u0435\u0445 \u0433\u043e\u043b\u043e\u0432 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 (\u0441\u043c. \u0431\u043b\u043e\u043a \u201cConcat\u201d \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435).<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u044d\u0442\u0438\u0445 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 (\u0431\u043b\u043e\u043a \u201cLinear\u201d \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435).<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0439\u0441\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u043b\u043e\u043a\u043e\u043c <em>\u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (multi-head attention)<\/em>. \u041f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u043c\u044b \u043d\u0430\u0441\u043b\u043e\u0438\u043c, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0441\u043c\u043e\u0436\u0435\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c. \u041a\u043e\u0434 \u043d\u0430 PyTorch:<\/p>\n<pre><code class=\"python\">import torch import torch.nn as nn import torch.nn.functional as F   class MultiHeadedAttention(nn.Module):     \"\"\"Mostly stolen from: http:\/\/nlp.seas.harvard.edu\/2018\/04\/03\/attention.html.\"\"\"          def __init__(self, h, d_model, dropout=0.1):         \"Take in model size and number of heads.\"         super(MultiHeadedAttention, self).__init__()                  assert d_model % h == 0                  # We assume d_v always equals d_k         self.d_k = d_model \/\/ h         self.h = h         self.linears = clones(nn.Linear(d_model, d_model), 4)         self.attn = None         self.dropout = nn.Dropout(p=dropout)              def forward(self, query, key, value, mask=None):         \"\"\"Implements multihead attention\"\"\"         if mask is not None:             # Same mask applied to all h heads.             mask = mask.unsqueeze(1)          nbatches = query.size(0)                  # 1) Do all the linear projections in batch from d_model => h x d_k          query, key, value = \\             [l(x).view(nbatches, -1, self.h, self.d_k).transpose(1, 2)              for l, x in zip(self.linears, (query, key, value))]                  # 2) Apply attention on all the projected vectors in batch.          x, self.attn = attention(query, key, value, mask=mask, dropout=self.dropout)                  # 3) \"Concat\" using a view and apply a final linear.          x = x.transpose(1, 2).contiguous().view(nbatches, -1, self.h * self.d_k)          return self.linears[-1](x)<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u044f \u043e\u043f\u0443\u0441\u043a\u0430\u044e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 LayerNorm \u0438 Residual connections \u043c\u0435\u0436\u0434\u0443 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 multi-head attention, \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0443 Scaled Dot-Product Attention, Positional Encoding \u0438 \u0442.\u0434.<\/p>\n<h3>\u041c\u043e\u0434\u0443\u043b\u044c Evoformer<\/h3>\n<p>\u041c\u043e\u0434\u0443\u043b\u044c Evoformer \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 48 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0438\u0445 \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041c\u043e\u0434\u0443\u043b\u044c Evoformer. (a) \u043e\u0431\u0449\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430; (b) \u043c\u0430\u0442\u0440\u0438\u0446\u0430\/\u0442\u0435\u043d\u0437\u043e\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f; (c) \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430.\" title=\"\u041c\u043e\u0434\u0443\u043b\u044c Evoformer. (a) \u043e\u0431\u0449\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430; (b) \u043c\u0430\u0442\u0440\u0438\u0446\u0430\/\u0442\u0435\u043d\u0437\u043e\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f; (c) \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430.\" height=\"963\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1cb\/625\/916\/1cb6259165e7d446cd1d036522c2f81a.png\" data-width=\"2148\"\/><figcaption>\u041c\u043e\u0434\u0443\u043b\u044c Evoformer. (a) \u043e\u0431\u0449\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430; (b) \u043c\u0430\u0442\u0440\u0438\u0446\u0430\/\u0442\u0435\u043d\u0437\u043e\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f; (c) \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430.<\/figcaption><\/figure>\n<p>\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 3 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u043f\u043e \u043e\u0441\u044f\u043c (axial\/criss-cross), \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0443\u044e\u0441\u044f \u0432 \u043f\u0430\u0440\u043d\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043f\u0430\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0431\u043b\u043e\u043a \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u0431\u043b\u043e\u043a\u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u043a \u043f\u0430\u0440\u043d\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ol>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 \u0447\u0430\u0441\u0442\u0435\u0439 \u044d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<h4>Evoformer: \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f<\/h4>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440: \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u043e\u0439 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0445 \u0437\u0430 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f.\" title=\"\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440: \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u043e\u0439 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0445 \u0437\u0430 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f.\" height=\"963\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b3\/f80\/ff1\/3b3f80ff19bc6f9f97103a7a45d70553.png\" data-width=\"2148\"\/><figcaption>\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440: \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u043e\u0439 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0445 \u0437\u0430 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f.<\/figcaption><\/figure>\n<h5>\u041c\u0415\u0425\u0410\u041d\u0418\u0417\u041c \u0412\u041d\u0418\u041c\u0410\u041d\u0418\u042f \u041f\u041e \u041e\u0421\u042f\u041c \u0412 \u042d\u0412\u041e\u0424\u041e\u0420\u041c\u0415\u0420\u0415<\/h5>\n<p>MSA update part of Evoformer uses an approach, called axial or criss-cross attention. It was suggested in visual transformers circa 2020. In visual transformers attention needs to be applied to each pixel of an image, and using the full 2D image as keys would be computationally inefficient.<\/p>\n<p>A frugal alternative to full 2D attention, is to first attend to all pixels in the same row as the query pixel and then attends all pixels in the same column. Same approach was employed here by evoformer. It first attends to other aminoacid residues in the same sequence (which is called row-wise gated self-attention), and then residues from other sequences in the same column (column-wise gated self-attention).<\/p>\n<h5>\u0421\u0410\u041c\u041e\u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415 \u0421 \u0417\u0410\u0422\u0412\u041e\u0420\u041e\u041c \u041f\u041e \u041f\u041e\u0417\u0418\u0426\u0418\u042f\u041c \u0412\u042b\u0420\u0410\u0412\u041d\u0418\u0412\u0410\u041d\u0418\u042f<\/h5>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441 \u0437\u0430\u0442\u0432\u043e\u0440\u043e\u043c \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c (\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c) \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435\" title=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441 \u0437\u0430\u0442\u0432\u043e\u0440\u043e\u043c \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c (\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c) \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435\" height=\"1514\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/63f\/46f\/67b\/63f46f67bc6809b125a6739dde04f55e.png\" data-width=\"1512\"\/><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441 \u0437\u0430\u0442\u0432\u043e\u0440\u043e\u043c \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c (\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c) \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435<\/figcaption><\/figure>\n<p>\u0421\u0447\u0438\u0442\u0430\u044e \u043d\u0443\u0436\u043d\u044b\u043c \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c 2 \u0430\u0441\u043f\u0435\u043a\u0442\u0430 \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0441 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f\/\u0437\u0430\u0442\u0432\u043e\u0440\u0430.<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043a \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u043d\u043e: \u0435\u0441\u043b\u0438 \u043f\u043e \u043c\u0435\u0440\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0432\u044b\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0434\u0432\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u044b \u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442, \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u043e \u0432 \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0438, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432 \u0432\u0435\u0441 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0432 \u043d\u0435\u0439.<\/p>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432\u0435\u0440\u0445\u043d\u044f\u044f \u0441\u0442\u0440\u0435\u043b\u043a\u0430 \u043d\u0430 \u044d\u0442\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0443 \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u0439 \u0441\u0445\u0435\u043c\u0435, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u044f \u0435\u0449\u0435 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b. \u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u0437\u0430\u0442\u0432\u043e\u0440 \u0442\u0440\u0430\u043d\u0437\u0438\u0441\u0442\u043e\u0440\u0430 &#8212; \u0435\u0441\u043b\u0438 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0435 \u0437\u0430\u0442\u0432\u043e\u0440\u0430 &#171;\u0437\u0430\u043a\u0440\u044b\u0442&#187; \u043d\u0435\u043a\u0438\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442, \u044d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0417\u0430\u0442\u0432\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u0442, \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b \u0438\u043c\u0435\u0435\u0442 \u043c\u0430\u043b\u0443\u044e \u201c\u0434\u043b\u0438\u043d\u0443\u201d (\u0434\u043b\u0438\u043d\u0443 \u0432 \u043a\u0430\u0432\u044b\u0447\u043a\u0430\u0445, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e &#171;\u0432\u0435\u043a\u0442\u043e\u0440&#187; \u0437\u0430\u0442\u0432\u043e\u0440\u0430 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0438\u043c\u0435\u0435\u0442 <em>c<\/em>  \u043a\u0430\u043d\u0430\u043b\u043e\u0432, \u0438 \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438). \u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u0441\u0435 \u0442\u0430 \u0436\u0435 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a 1, \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u0435\u043b\u0438\u043a\u043e \u0438\u043b\u0438 \u0431\u043b\u0438\u0437\u043a\u0430 0, \u0435\u0441\u043b\u0438 \u043e\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u043e. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0430\u0442\u0432\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u043a\u0440\u044b\u0442, \u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c &#8212; \u043e\u0442\u043a\u0440\u044b\u0442. \u041e\u0434\u043d\u0430\u043a\u043e, \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u043c \u043f\u0440\u0438\u0435\u043c\u043e\u043c, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043a \u0441\u0435\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u0441\u043c. \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438).<\/p>\n<h5>\u0421\u0410\u041c\u041e\u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415 \u0421 \u0417\u0410\u0422\u0412\u041e\u0420\u041e\u041c \u041f\u041e \u041f\u041e\u0421\u041b\u0415\u0414\u041e\u0412\u0410\u0422\u0415\u041b\u042c\u041d\u041e\u0421\u0422\u042f\u041c \u0412\u042b\u0420\u0410\u0412\u041d\u0418\u0412\u0410\u041d\u0418\u042f<\/h5>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0441 \u0437\u0430\u0442\u0432\u043e\u0440\u043e\u043c \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435.\" title=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0441 \u0437\u0430\u0442\u0432\u043e\u0440\u043e\u043c \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435.\" height=\"1240\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c9\/08d\/958\/0c908d958cd42da0b8ad9ddcc3aeb9d7.png\" data-width=\"1460\"\/><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0441 \u0437\u0430\u0442\u0432\u043e\u0440\u043e\u043c \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435.<\/figcaption><\/figure>\n<p>\u0421\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u043c\u0435\u043d \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f. \u042d\u0442\u043e\u0442 \u0448\u0430\u0433 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 AlphaFold2 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0435\u0441\u0442\u044c \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f, \u0438\u043b\u0438 \u0447\u0442\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430, \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0412 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u0445 \u043a \u0441\u0442\u0430\u0442\u044c\u0435\u0439 DeepMind \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043a\u0430\u0440\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u0431\u043b\u043e\u043a\u0435 (\u0441\u043c. \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043d\u0438\u0436\u0435). \u0420\u044f\u0434 (a) \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0435\u0441\u0435\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0420\u044f\u0434 (b) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0441\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0449\u0430\u044e\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043f\u0435\u0440\u0432\u0443\u044e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (\u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430). \u0420\u044f\u0434 (c) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 AF2 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u044e\u0442, \u043f\u043e \u0441\u0443\u0442\u0438, \u0444\u0438\u043b\u043e\u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0435\u0435 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0440\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 (\u0441\u043c. \u043f\u0440\u0430\u0432\u0443\u044e \u043d\u0438\u0436\u043d\u044e\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u201cHamming distance\u201d, \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043d\u0430\u0434 \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0444\u0438\u043b\u043e\u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0440\u044f\u0434\u043e\u0432 (a)-(c) \u0441\u043c. \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 (d) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0431\u0435\u043b\u043a\u0430. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 (e) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0425\u044d\u043c\u043c\u0438\u043d\u0433\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0443\u044e \u0444\u0438\u043b\u043e\u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0434\u0435\u0440\u0435\u0432\u0443, \u043e\u043f\u0438\u0441\u044b\u0430\u044e\u0449\u0435\u043c\u0443 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0440\u043e\u0434\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439.\" title=\"\u041a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0440\u044f\u0434\u043e\u0432 (a)-(c) \u0441\u043c. \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 (d) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0431\u0435\u043b\u043a\u0430. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 (e) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0425\u044d\u043c\u043c\u0438\u043d\u0433\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0443\u044e \u0444\u0438\u043b\u043e\u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0434\u0435\u0440\u0435\u0432\u0443, \u043e\u043f\u0438\u0441\u044b\u0430\u044e\u0449\u0435\u043c\u0443 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0440\u043e\u0434\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439.\" height=\"1448\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0df\/399\/bcd\/0df399bcd5d14f35ad777d725f2823eb.png\" data-width=\"2014\"\/><figcaption>\u041a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0441\u0430\u043c\u043e\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0440\u044f\u0434\u043e\u0432 (a)-(c) \u0441\u043c. \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 (d) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0431\u0435\u043b\u043a\u0430. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 (e) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0425\u044d\u043c\u043c\u0438\u043d\u0433\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0443\u044e \u0444\u0438\u043b\u043e\u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0434\u0435\u0440\u0435\u0432\u0443, \u043e\u043f\u0438\u0441\u044b\u0430\u044e\u0449\u0435\u043c\u0443 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0440\u043e\u0434\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439.<\/figcaption><\/figure>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0443 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u044d\u0442\u0438\u0445 \u043a\u0430\u0440\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432 \u043a \u0441\u0442\u0430\u0442\u044c\u0435:<\/p>\n<blockquote>\n<p><em>In Suppl. Fig. 13 we show a visualization of the attention pattern in the MSA along the columns a\u00a0h_{sti}hsti\u200b\u00a0(line 4 of Algorithm 8). We slice along the last axis\u00a0ii\u00a0and display the\u00a0stst\u00a0array as heat map.<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p><em>The original MSA subset shown to the main part of the model is randomly sampled. As such the order is random except for the first row. The first row is special because it contains the target sequence and is recycled in consecutive iterations of the model. Due to the shallow MSA of this protein, the random subset leads to a random permutation of the sequences. In order to facilitate easier interpretation of the attention patterns here we reorder the attention tensor by using a more suitable order for the MSA. We perform a hierarchical clustering using the Ward method with simple Hamming distance as a metric and use the output to re-index the sequence dimension in the MSA attention tensor. We resort the indices from the hierarchical clustering manually to keep the target sequence in the first row. This manual sorting is done in such a way as to keep the tree structure valid. The Hamming distances between the reordered sequences (see Suppl. Fig. 13e) show a block-like structure quite clearly after the reordering.<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p><em>The attention pattern in the first layer of the network in the first recycling iteration (e.g. layer 0, head 7 in Suppl. Fig. 13a) is not very informative and is largely averaging as can be seen by looking at the range of the attention weights.<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p><em>In the same head, but in the last recycling iteration (Suppl. Fig. 13b) we see that all sequences at all positions attend to the first row. Therefore this head behaves differently upon recycling and is presumably important for distribution the information in the recycled first row to the rest of the MSA representation. Layer 6, head 6 (Suppl. Fig. 13c) shows a pattern that is fairly common in the column-wise MSA attention, here the pattern only varies lightly as one goes along the sequence and there is a clear structure in blocks of sequences that attend to each other. We note that these seem somewhat similar to the blocks derived from hierarchical clustering using Hamming distance. Whether attention patterns provide a good explanation for the behaviour of a given model or are predictive of interventions into the model is a topic of debate in the community, see [127], [128], [129]. A detailed analysis of the generality and predictivity of these attention patterns is beyond the scope of this paper.<\/em><\/p>\n<\/blockquote>\n<h5>\u041f\u0415\u0420\u0415\u0425\u041e\u0414\u041d\u042b\u0419 \u0411\u041b\u041e\u041a \u0412\u042b\u0420\u0410\u0412\u041d\u0418\u0412\u0410\u041d\u0418\u042f<\/h5>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043f\u043e\u0434\u0431\u043b\u043e\u043a\u0430 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435 &#8212; \u044d\u0442\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u044b\u0439 \u0431\u043b\u043e\u043a. \u042f \u043d\u0435 \u0432\u043f\u043e\u043b\u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u044e \u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0438 \u043e\u043d\u043e \u043d\u0435 \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u0445. \u041f\u043e\u043b\u0430\u0433\u0430\u044e, \u0435\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f &#8212; \u0447\u0438\u0441\u0442\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435.\" title=\"\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435.\" height=\"462\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/099\/96d\/572\/09996d572b82a344bbabcaeb0005e834.png\" data-width=\"1448\"\/><figcaption>\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435.<\/figcaption><\/figure>\n<h4>\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440: \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f<\/h4>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0431\u044b\u043b \u0443\u043b\u0443\u0447\u0448\u0435\u043d \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0442\u0440\u0430\u0437\u0438\u0442\u044c \u0438 \u0432 \u043f\u0430\u0440\u043d\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0441\u0430\u043c\u044b\u043c \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043f\u0440\u043e\u0435\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u0437 \u0431\u043b\u043e\u043a\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u043f\u0430\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u043d\u0430\u0434\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u0437\u044f\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435, \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u044d\u0442\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043a\u043e\u043b\u043e\u043d\u043e\u043a. \u041d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u044e, \u0447\u0442\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f (outer product) \u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0430\u043b\u0433\u0435\u0431\u0440\u0435  &#8212; \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u041a\u0440\u043e\u043d\u0435\u043a\u0435\u0440\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u0447\u0435\u0440\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435.\" title=\"\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u0447\u0435\u0440\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435.\" height=\"1094\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eed\/036\/327\/eed036327b596527cfb84ace9fc4803c.png\" data-width=\"1370\"\/><figcaption>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u0447\u0435\u0440\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435.<\/figcaption><\/figure>\n<h4>\u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440: \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u043a\u0430\u043a \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0434\u043b\u044f \u043f\u0430\u0440\u043d\u044b\u0445 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439<\/h4>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0411\u043b\u043e\u043a\u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435. \u041b\u0435\u0432\u0430\u044f \u043f\u0430\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0432 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435 - \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430. \u041f\u0440\u0430\u0432\u0430\u044f \u043f\u0430\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435 - \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430.\" title=\"\u0411\u043b\u043e\u043a\u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435. \u041b\u0435\u0432\u0430\u044f \u043f\u0430\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0432 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435 - \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430. \u041f\u0440\u0430\u0432\u0430\u044f \u043f\u0430\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435 - \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430.\" height=\"963\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce0\/243\/af7\/ce0243af76a740cbb440e36b264b6712.png\" data-width=\"2148\"\/><figcaption>\u0411\u043b\u043e\u043a\u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435. \u041b\u0435\u0432\u0430\u044f \u043f\u0430\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0432 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435 &#8212; \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430. \u041f\u0440\u0430\u0432\u0430\u044f \u043f\u0430\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435 &#8212; \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430.<\/figcaption><\/figure>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e \u0447\u0430\u0441\u0442\u044c \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 &#8212; \u0441\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0432 \u043f\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c, \u0447\u0435\u0433\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430? \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430 {<em>i<\/em>,<em>j<\/em>}, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432\u0441\u0435 \u043f\u0430\u0440\u044b \u0440\u0435\u0431\u0435\u0440 {<em>i<\/em>,<em>k<\/em>} and {<em>k<\/em>,<em>j<\/em>} \u0438 \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0445\u00a0<em>k<\/em>\u00a0\u0434\u043b\u0438\u043d\u0430 d{<em>i<\/em>,<em>j<\/em>} \u0440\u0435\u0431\u0440\u0430 {<em>i<\/em>,<em>j<\/em>} \u043d\u0435 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442 \u0441\u0443\u043c\u043c\u044b \u0434\u043b\u0438\u043d \u0440\u0435\u0431\u0435\u0440 d{<em>i<\/em>,<em>k<\/em>} \u0438 d{<em>k<\/em>,<em>j<\/em>}:<\/p>\n<p>d{<em>i<\/em>,<em>j<\/em>} &lt; max(d{<em>i<\/em>,<em>k<\/em>} + d{<em>k<\/em>,<em>j<\/em>})<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u043b\u043e\u0433\u0438\u043a\u0443 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0432 AlphaFold2 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u0435\u0435 \u043c\u044f\u0433\u043a\u0438\u0435.<\/p>\n<p>\u0412 AlphaFold2 \u0435\u0441\u0442\u044c 2 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u0430 \u0431\u043b\u043e\u043a\u043e\u0432, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0445 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430: triangle multiplicative update \u0438 triangle self-attention. \u0418\u0441\u0445\u043e\u0434\u043d\u043e triangle multiplicative updates \u0431\u044b\u043b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u043a\u0430\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u0430\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 \u0431\u043b\u043e\u043a\u0430\u043c triangle self-attention. \u041c\u043e\u0436\u043d\u043e \u0443\u0431\u0440\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0442\u0438\u043f\u043e\u0432 \u0431\u043b\u043e\u043a\u043e\u0432, \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e. \u041e\u0434\u043d\u0430\u043a\u043e, \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e SOTA \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0432\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043e\u0431\u0430 \u0432\u0438\u0434\u0430 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0430\u043a \u0438 \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0411\u043b\u043e\u043a \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0440\u0435\u0431\u0435\u0440 \" title=\"\u0411\u043b\u043e\u043a \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0440\u0435\u0431\u0435\u0440 \" height=\"1204\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f49\/9ed\/6f3\/f499ed6f3e522e0d0dba661d3f3f0f25.png\" data-width=\"1966\"\/><figcaption>\u0411\u043b\u043e\u043a \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0434\u043b\u044f \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0440\u0435\u0431\u0435\u0440 <\/figcaption><\/figure>\n<p>\u0411\u043b\u043e\u043a \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a: \u043e\u043d \u0431\u0435\u0440\u0435\u0442 \u0434\u0432\u0430 \u0440\u044f\u0434\u0430 \u0438\u0437 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f,\u00a0<em>i<\/em>-\u044b\u0439 \u0438\u00a0<em>j<\/em>-\u044b\u0439. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u00a0<em>k<\/em>\u00a0\u0432 \u043e\u0431\u043e\u0438\u0445 \u0440\u044f\u0434\u0430\u0445, \u043c\u044b \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0440\u0435\u0431\u0435\u0440 {<em>i<\/em>,<em>k<\/em>} \u0438 {<em>j<\/em>,<em>k<\/em>} \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0431\u043e\u043b\u0435\u0435 \u043d\u0438\u043a\u0437\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043a \u043d\u0438\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f \u0438 \u0431\u0435\u0440\u0435\u043c \u0410\u0434\u0430\u043c\u0430\u0440\u043e\u0432\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0445\u0441\u044f\u00a0<em>i<\/em>-\u043e\u0433\u043e \u0438\u00a0<em>j<\/em>-\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u043e <em>k<\/em>\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u043f\u043e\u043b\u0443\u0447\u0430\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0435\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 {<em>i<\/em>,<em>j<\/em>} \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0449\u0435 \u0440\u0430\u0437 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0432 \u043a \u043d\u0435\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0447\u0435\u0440\u0435\u0437 LayerNorm \u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 {<em>i<\/em>,<em>j<\/em>} \u043a\u0430\u043a \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u0442\u0432\u043e\u0440\u0430.<\/p>\n<p>\u042f \u043d\u0435 \u043c\u043e\u0433\u0443 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u044e, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u043c\u043e\u0434\u0443\u043b\u044c, \u043d\u043e \u0432\u043e\u0442 \u043c\u043e\u0438 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f. \u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u044b\u0441\u043a\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 <em>k<\/em>, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c d{<em>i<\/em>,<em>k<\/em>} + d{<em>j<\/em>,<em>k<\/em>}, \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u043f\u0440\u043e\u0440\u0435\u0436\u0435\u043d\u043d\u0443\u044e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f \u0441\u0443\u043c\u043c\u0443 \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\sum \\limits_{k=1}^{r} d\\{i,k\\} + d\\{j,k\\}\" alt=\"\\sum \\limits_{k=1}^{r} d\\{i,k\\} + d\\{j,k\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/251\/88c\/aae\/25188caae19c42fff34283aece50678c.svg\" width=\"168\" height=\"57\"\/><\/p>\n<p>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u044d\u0442\u0430 \u0441\u0443\u043c\u043c\u0430 (\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0430\u044f layer norm \u0438 \u043f\u0440\u043e\u0440\u0435\u0436\u0435\u043d\u043d\u0430\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f) \u0434\u0430\u0435\u0442 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439, \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0438 \u0440\u0435\u0431\u0435\u0440 ({<em>i<\/em>,<em>k<\/em>},\u00a0{<em>j<\/em>,<em>k<\/em>}), \u0434\u043b\u044f \u0442\u0435\u0445 <em>k,<\/em> \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u0434\u043b\u0438\u043d\u0443 \u0440\u0435\u0431\u0440\u0430 {<em>i<\/em>,<em>j<\/em>}\u00a0\u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e. \u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u043a \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0443 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0432\u0438\u0434\u0438\u0442\u0441\u044f \u0435\u0449\u0435 \u043c\u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u044b\u043c. \u0412 \u043d\u0435\u043c \u0440\u0435\u0431\u0440\u043e, \u0434\u043b\u0438\u043d\u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a query \u0432 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f; \u0434\u043b\u0438\u043d\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0440\u0435\u0431\u0435\u0440, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, {<em>i<\/em>,<em>k<\/em>}, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043a\u0430\u043a keys \u0438 values, \u0432 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0430 \u0434\u043b\u0438\u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430 {<em>j<\/em>,<em>k<\/em>} \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a affinity matrix.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e\u043c \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430\" title=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e\u043c \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430\" height=\"1610\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/91b\/1ac\/f10\/91b1acf103f893926dd156d6a511b25d.png\" data-width=\"1478\"\/><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e\u043c \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430<\/figcaption><\/figure>\n<p>\u041e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0443 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 (\u0441\u043c. \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043d\u0438\u0436\u0435).<\/p>\n<p>\u0412 \u0440\u044f\u0434\u0443 (a) \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043d\u0430 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0440\u0430\u0434\u0438\u0443\u0441\u043e\u043c 4 (\u0434\u0438\u0430\u043c\u0435\u0442\u0440\u043e\u043c 8) \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 14 \u0438 15 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 14-16, 14-17, 14-13, 14-12 \u0438 14-11. \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e\u0434\u043e\u0440\u043e\u0434\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u0432 \u0431\u0435\u043b\u043a\u0430\u0445, \u0437\u0430 \u0441\u0447\u0435\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0435 \u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442 \u0430\u043b\u044c\u0444\u0430-\u0441\u043f\u0438\u0440\u0430\u043b\u0438. \u0428\u0430\u0433 \u0430\u043b\u044c\u0444\u0430-\u0441\u043f\u0438\u0440\u0430\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u0430\u043a \u0440\u0430\u0437 4 \u043e\u0441\u0442\u0430\u0442\u043a\u0430, \u0442\u0430\u043a \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0438 i-\u044b\u0439 \u0438 (i+4)-\u044b\u0439 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0432\u043e\u0434\u043e\u0440\u043e\u0434\u043d\u044b\u043c\u0438 \u0441\u0432\u044f\u0437\u0430\u043c\u0438, \u0438 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043c\u044b \u0438 \u0432\u0438\u0434\u0438\u043c \u043d\u0430 \u043a\u0430\u0440\u0442\u0430\u0445 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b.<\/p>\n<p>\u0412 \u0440\u044f\u0434\u0443 (b) \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0434\u043b\u044f 14-\u043e\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b \u0432\u0441\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0442 \u043d\u0435\u0435 \u0434\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 &#8212; 14-1, 14-2, \u2026, 14-100 &#8212; \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u0441\u0432\u044f\u0437\u0435\u0439 14-28 \u0438 14-80. \u0410\u0432\u0442\u043e\u043e\u0440\u044b \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0442, \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0438 14, 28 \u0438 80 &#8212; \u044d\u0442\u043e \u0432\u0441\u0435 \u0446\u0438\u0441\u0442\u0435\u0438\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u0434\u0438\u0441\u0443\u043b\u044c\u0444\u0438\u0434\u043d\u044b\u0435 SS-\u043c\u043e\u0441\u0442\u0438\u043a\u0438. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0438\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0434\u0438\u0441\u0443\u043b\u044c\u0444\u0438\u0434\u043d\u043e\u0433\u043e \u043c\u043e\u0441\u0442\u0438\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 14-28 \u0438\u043b\u0438 14-80 \u0432\u043e-\u043c\u043d\u043e\u0433\u043e\u043c \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 14-\u043e\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043e\u0439 \u0438 \u0432\u0441\u0435\u043c\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u043c\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0431\u0435\u043b\u043a\u0435, \u0438 \u044d\u0442\u043e\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0438 \u0432\u044b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430.<\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0440\u044f\u0434 (c) \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u043d\u043e, \u0443\u0436\u0435 \u043a 11-\u043e\u043c\u0443 \u0441\u043b\u043e\u044e \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0431 \u043e\u0431\u0449\u0435\u0439 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0431\u0435\u043b\u043a\u0430 \u0438 \u043f\u0430\u0440\u043d\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438. \u0421\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u0430\u043c\u0438 (\u0441\u0430\u043c\u0430\u044f \u043f\u0440\u0430\u0432\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0440\u044f\u0434\u0443, Predicted CA-CA distances) \u0441 \u043d\u0438\u0436\u043d\u0438\u043c \u0440\u044f\u0434\u043e\u043c (c). \u042d\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0430\u0431\u043b\u044f\u0446\u0438\u0438, \u0433\u0434\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u0448\u0443\u043d\u0442\u043e\u043c \u043f\u0440\u0438\u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u043a \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u043c \u0441\u043b\u043e\u044f\u043c \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u0431\u0435\u043b\u043a\u043e\u0432 \u0441 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u0443\u0436\u0435 \u043a 10-20-\u043e\u043c\u0443 \u0441\u043b\u043e\u044f\u043c \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u044d\u0441\u043a\u0438\u0437 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f (\u0441\u043c. \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438 \u0432 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u043f\u0443\u043d\u043a\u0442 b).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0443 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0440\u044f\u0434\u043e\u0432 (a)-(c) \u0441\u043c. \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u0420\u044f\u0434 (d) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0431\u0435\u043b\u043a\u0430.\" title=\"\u041a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0443 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0440\u044f\u0434\u043e\u0432 (a)-(c) \u0441\u043c. \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u0420\u044f\u0434 (d) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0431\u0435\u043b\u043a\u0430.\" height=\"1438\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b71\/8b8\/fd2\/b718b8fd2574fa9da674c407eca6e718.png\" data-width=\"2010\"\/><figcaption>\u041a\u0430\u0440\u0442\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0443 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0440\u044f\u0434\u043e\u0432 (a)-(c) \u0441\u043c. \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u0420\u044f\u0434 (d) \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0431\u0435\u043b\u043a\u0430.<\/figcaption><\/figure>\n<p>\u041e\u043f\u044f\u0442\u044c \u0436\u0435, \u043f\u0440\u0438\u0432\u043e\u0436\u0443 \u0446\u0438\u0442\u0430\u0442\u0443 \u0438\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438:<\/p>\n<blockquote>\n<p><em>In this section we are going to analyse a small subset of the attention patterns we see in the main part of the model. This will be restricted to relatively short proteins with fairly shallow MSA\u2019s in order for easier visualization.<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p><em>We are going to examine the attention weights in the attention on the pair representation in the \u201cTriangular gated self-attention around starting node\u201d (Algorithm 13). The attention pattern for a given head h is a third order tensor a\u00a0h_{ijk}hijk\u200b\u00a0(line 5 of Algorithm 13), here we will investigate different slices along the i axis as well as averages along this axis, and display the jk array as a heat map. We specify the attention pattern for a specific head by the recycling index r, layer index l and head index h. We show the attention patterns in Suppl. Fig. 12<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p><em>In layer 0, head 0 (Suppl. Fig. 12a) we see a pattern that is similar to a convolution, i.e. the pair representation at (i, i + j) attends to the pair representation (i, i + k), where j and k are relatively small and the pattern is fairly independent of i. The radius of the pattern is 4 residues, we note that the hydrogen bonded residues in an alpha helix are exactly 4 residues apart. Patterns like this are expected in early layers due to the relative position encoding, however one would naively expect it to be wider, as the relative positions run to 32.<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p><em>In layer 2, head 2 (Suppl. Fig. 12b) we see a very specific attention pattern. We see that positions 14, 28 and 80 play a special role. These correspond to the positions of cysteine residues in the protein. We see that at the cysteine positions the attention is localized to the other cysteine positions as exemplified by the bands in the first two panels. Meanwhile away at positions different from the cysteine like position 20, we see that the attention is devoid of features suggesting that the model does not use the attention at these positions. We found this behaviour to be consistent across different positions and proteins, this possibly indicates finding possible disulfides as a key feature of some heads.<\/em><\/p>\n<\/blockquote>\n<blockquote>\n<p><em>A head later in the network (Suppl. Fig. 12c) shows a rich, non-local attention pattern resembling the Suppl. Material for Jumper et al. (2021): Highly accurate protein structure prediction with AlphaFold 55 distance between pairs in the structure (Suppl. Fig. 12d).<\/em><\/p>\n<\/blockquote>\n<h3>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c<\/h3>\n<p>\u041c\u044b \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0438 \u0441 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0440\u0430 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043a \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b.<\/p>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u0431\u0435\u0440\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0432\u044b\u0440\u0435\u0437\u0430\u043d\u043d\u043e\u0439 \u0438\u0437 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430, \u0438 \u043f\u0430\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0426\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0443\u043b\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 (Invariant point attention, IPA), \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u043c\u0435\u043d \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0441\u0435\u043c\u0438 \u0442\u0440\u0435\u043c\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u043c\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u043e\u0432\u0441\u0435 \u0443\u0431\u0440\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u044d\u043b\u0435\u043c\u0435\u043d\u0442, \u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438, AlphaFold2 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u0445\u043e\u0440\u043e\u0448\u043e (\u0441\u043c. \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c: (d) \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043c\u043e\u0434\u0443\u043b\u044f \u0432 \u0446\u0435\u043b\u043e\u043c; (e) \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430 \u0431\u0435\u043b\u043a\u0430 \u043a\u0430\u043a \u043d\u0430\u0431\u043e\u0440\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u0432 - \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0441\u0442\u043e\u0432\u0430; (f) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430 \u0432 \u043e\u0441\u0442\u043e\u0432\u0435 \u0431\u0435\u043b\u043a\u0430 \u043f\u0430\u0440\u043e\u0439 (\u041c\u0430\u0442\u0440\u0438\u0446\u0430, \u0432\u0435\u043a\u0442\u043e\u0440) - (R,t) (Rotation, translation) - (\u041f\u043e\u0432\u043e\u0440\u043e\u0442, \u0441\u0434\u0432\u0438\u0433).\" title=\"\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c: (d) \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043c\u043e\u0434\u0443\u043b\u044f \u0432 \u0446\u0435\u043b\u043e\u043c; (e) \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430 \u0431\u0435\u043b\u043a\u0430 \u043a\u0430\u043a \u043d\u0430\u0431\u043e\u0440\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u0432 - \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0441\u0442\u043e\u0432\u0430; (f) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430 \u0432 \u043e\u0441\u0442\u043e\u0432\u0435 \u0431\u0435\u043b\u043a\u0430 \u043f\u0430\u0440\u043e\u0439 (\u041c\u0430\u0442\u0440\u0438\u0446\u0430, \u0432\u0435\u043a\u0442\u043e\u0440) - (R,t) (Rotation, translation) - (\u041f\u043e\u0432\u043e\u0440\u043e\u0442, \u0441\u0434\u0432\u0438\u0433).\" height=\"638\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ed\/7cd\/4f9\/6ed7cd4f9e9ea12e0b43645a841f3e57.png\" data-width=\"2148\"\/><figcaption>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c: (d) \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043c\u043e\u0434\u0443\u043b\u044f \u0432 \u0446\u0435\u043b\u043e\u043c; (e) \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430 \u0431\u0435\u043b\u043a\u0430 \u043a\u0430\u043a \u043d\u0430\u0431\u043e\u0440\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u0432 &#8212; \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0441\u0442\u043e\u0432\u0430; (f) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430 \u0432 \u043e\u0441\u0442\u043e\u0432\u0435 \u0431\u0435\u043b\u043a\u0430 \u043f\u0430\u0440\u043e\u0439 (\u041c\u0430\u0442\u0440\u0438\u0446\u0430, \u0432\u0435\u043a\u0442\u043e\u0440) &#8212; (R,t) (Rotation, translation) &#8212; (\u041f\u043e\u0432\u043e\u0440\u043e\u0442, \u0441\u0434\u0432\u0438\u0433).<\/figcaption><\/figure>\n<p>\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043c\u043e\u0434\u0443\u043b\u044f, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0432 \u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0439 \u0431\u0438\u043e\u043b\u043e\u0433\u0438\u0438 \u0431\u0435\u043b\u043a\u043e\u0432.<\/p>\n<p>\u041f\u0435\u043f\u0442\u0438\u0434\u043d\u0430\u044f \u0446\u0435\u043f\u044c \u0431\u0435\u043b\u043a\u0430 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0430 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u0430\u043c\u0438. \u041a\u0430\u0436\u0434\u044b\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0439 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 3 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 &#8212; \u0430\u043c\u0438\u043d\u043e\u0433\u0440\u0443\u043f\u043f\u044b, C-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u0430 \u0438 \u0433\u0440\u0443\u043f\u043f\u044b \u043a\u0430\u0440\u0431\u043e\u043d\u043e\u0432\u043e\u0439 \u043a\u0438\u0441\u043b\u043e\u0442\u044b. \u042d\u0442\u0438 3 \u0433\u0440\u0443\u043f\u043f\u044b \u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439\u00a0<em>\u043e\u0441\u0442\u043e\u0432<\/em>\u00a0\u0431\u0435\u043b\u043a\u0430, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043e\u0441\u0442\u043e\u0432\u0430 \u0432\u0430\u0436\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c. \u041f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b \u0435\u0441\u0442\u044c <em>\u0440\u0430\u0434\u0438\u043a\u0430\u043b<\/em>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0437\u043d\u044b\u0439 \u0443 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 (\u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f 20 \u0442\u0438\u043f\u043e\u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 &#8212; \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c 20 \u0442\u0438\u043f\u043e\u0432 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u043e\u0432).<\/p>\n<p>\u0421 \u0443\u0447\u0435\u0442\u043e\u043c \u0432\u044b\u0448\u0435\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u043e 3 \u0442\u043e\u0440\u0441\u0438\u043e\u043d\u043d\u044b\u043c\u0438 \u0443\u0433\u043b\u0430\u043c\u0438 &#8212;\u00a0<em>\u03c6<\/em>,\u00a0<em>\u03c8<\/em>\u00a0\u0438 <em>\u03c9<\/em>. \u041f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0430 \u0443\u0433\u043b\u0430 &#8212;\u00a0<em>\u03c6<\/em>\u00a0\u0438\u00a0<em>\u03c8<\/em>\u00a0&#8212; \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u0432\u043e\u0431\u043e\u0434\u043e\u0439 \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0443\u0433\u043e\u043b <em>\u03c9<\/em>\u00a0\u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043e\u0442 180 \u0433\u0440\u0430\u0434\u0443\u0441\u043e\u0432 \u0432 \u0441\u0432\u044f\u0437\u0438 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0443 \u0430\u0442\u043e\u043c\u0430 \u0430\u0437\u043e\u0442\u0430 \u0430\u043c\u0438\u043d\u043e\u0433\u0440\u0443\u043f\u043f\u044b \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u0430\u044f \u043f\u0430\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043b\u044e\u0431\u0438\u0442 \u043b\u0435\u0436\u0430\u0442\u044c \u0432 \u043e\u0434\u043d\u043e\u0439 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438 \u0441 \u043f\u0438-\u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u044b\u043c \u043e\u0431\u043b\u0430\u043a\u043e\u043c \u0434\u0432\u043e\u0439\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 C=O \u043a\u0430\u0440\u0431\u043e\u043a\u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u043f\u0442\u0438\u0434\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u044c N-C \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f \u043f\u043e\u0447\u0442\u0438 \u043a\u0430\u043a \u0434\u0432\u043e\u0439\u043d\u0430\u044f \u0438 \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u0435 \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u0435\u043d\u043e.<\/p>\n<p>\u0427\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442, \u0438\u0445 \u0434\u043b\u0438\u043d\u044b \u0440\u043e\u0437\u043d\u044f\u0442\u0441\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432\u043e\u043a\u0440\u0443\u0433 \u0441\u0432\u044f\u0437\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0430\u0442\u043e\u043c\u0430\u043c\u0438 \u0431\u043e\u043a\u043e\u0432\u043e\u0439 \u0446\u0435\u043f\u0438 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u043e\u0432 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0442\u043e\u0440\u0441\u0438\u043e\u043d\u043d\u044b\u0445 \u0443\u0433\u043b\u043e\u0432\u00a0<em>\u03c7<\/em>1\u200b,\u00a0<em>\u03c7<\/em>2\u200b, \u2026, \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e\u00a0<em>\u03c7<\/em>5\u200b.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/f41\/c74\/dcd\/f41c74dcd296fbac5fe66bbf41bd5190.jpeg\" alt=\"\u0414\u0432\u0430 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u0430, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u043f\u0442\u0438\u0434\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u044c\u044e (\u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0436\u0438\u0440\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439). \u041e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0442\u043e\u0440\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0443\u0433\u043b\u044b \u03c6,\u00a0\u03c8\u00a0\u0438 \u03c9. \u0420\u0430\u0434\u0438\u043a\u0430\u043b\u044b \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u044b R1 \u0438 R2 \u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u0421-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u0430\u043c\u0438.\" title=\"\u0414\u0432\u0430 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u0430, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u043f\u0442\u0438\u0434\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u044c\u044e (\u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0436\u0438\u0440\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439). \u041e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0442\u043e\u0440\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0443\u0433\u043b\u044b \u03c6,\u00a0\u03c8\u00a0\u0438 \u03c9. \u0420\u0430\u0434\u0438\u043a\u0430\u043b\u044b \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u044b R1 \u0438 R2 \u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u0421-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u0430\u043c\u0438.\" width=\"888\" height=\"428\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f41\/c74\/dcd\/f41c74dcd296fbac5fe66bbf41bd5190.jpeg\" data-blurred=\"true\"\/><figcaption>\u0414\u0432\u0430 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u0430, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u043f\u0442\u0438\u0434\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u044c\u044e (\u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0436\u0438\u0440\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439). \u041e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0442\u043e\u0440\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0443\u0433\u043b\u044b \u03c6,\u00a0\u03c8\u00a0\u0438 \u03c9. \u0420\u0430\u0434\u0438\u043a\u0430\u043b\u044b \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u044b R1 \u0438 R2 \u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u0421-\u0430\u043b\u044c\u0444\u0430 \u0430\u0442\u043e\u043c\u0430\u043c\u0438.<\/figcaption><\/figure>\n<p>\u0418\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u044d\u0442\u043e\u0433\u043e DeepMind \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0439 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043d\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <em>\u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043e\u0441\u0442\u043e\u0432\u0430<\/em>\u00a0(<em>backbone frame)<\/em>, \u0433\u0434\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u043f\u0440\u0438 \u0442\u0443\u043f\u043e\u043c \u0443\u0433\u043b\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 C-alpha \u0430\u0442\u043e\u043c\u0443, \u0430 \u0434\u0432\u0435 \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0430\u0442\u043e\u043c\u0443 \u0430\u0437\u043e\u0442\u0430 \u0430\u043c\u0438\u043d\u043e\u0433\u0440\u0443\u043f\u043f\u044b \u0438 \u0430\u0442\u043e\u043c\u0443 \u0443\u0433\u043b\u0435\u0440\u043e\u0434\u0430 \u043a\u0430\u0440\u0431\u043e\u043a\u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043e\u0441\u0442\u043e\u0432\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 3-\u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u0434\u0432\u0438\u0433\u0430 (\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0432\u0438\u043d\u0443\u0442\u044c \u044d\u0442\u043e\u0442 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442) \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u043e\u0432\u043e\u0440\u043e\u0442\u0430 3&#215;3 (\u0443\u0433\u043e\u043b \u043f\u043e\u0432\u043e\u0440\u043e\u0442\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430). \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c AF2 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u043e\u0432\u0430, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0437\u0430 \u0443\u0433\u043b\u044b\u00a0<em>\u03c7<\/em>, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044b, \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c ResNet.<\/p>\n<p>\u0412 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u0441\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u043e\u0441\u0442\u043e\u0432\u0430 \u043f\u043e\u043c\u0435\u0449\u0430\u044e\u0442\u0441\u044f \u0432 \u043d\u0430\u0447\u0430\u043b\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 (DeepMind \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0437\u0430\u0431\u0430\u0432\u043d\u043e\u0435 \u0438 \u043a\u0440\u0430\u0441\u043d\u043e\u0440\u0435\u0447\u0438\u0432\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u201c\u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0447\u0435\u0440\u043d\u043e\u0439 \u0434\u044b\u0440\u043e\u0439\u201d), \u0438 \u0434\u0430\u043b\u0435\u0435 \u0438\u0445 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u043c \u043c\u043e\u0434\u0443\u043b\u0435\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043e\u0442 \u043c\u043e\u0434\u0443\u043b\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438.<\/p>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 3 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 &#8212; \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u0432\u044b\u0440\u0435\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f), \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0441\u0442\u043e\u0432\u0430. \u042d\u0442\u0430 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u0431\u043e\u0433\u0430\u0449\u0430\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0441\u043b\u0435 \u043c\u043e\u0434\u0443\u043b\u044f IPA \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b. \u0412 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u0445 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0441\u0435 \u0442\u0440\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u0438 \u0437\u0430\u0442\u0435\u043c \u0432\u043d\u043e\u0441\u044f\u0442 \u0432\u043a\u043b\u0430\u0434 \u0432 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 (IPA). \u041e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u043c 3 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0432\u044b\u0440\u0435\u0437\u0430\u043d\u043d\u044b\u0439 \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u043f\u0430\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043e\u0441\u0442\u043e\u0432\u0430 \u0431\u0435\u043b\u043a\u0430 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0432\u0435\u0441\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.\" title=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 (IPA). \u041e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u043c 3 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0432\u044b\u0440\u0435\u0437\u0430\u043d\u043d\u044b\u0439 \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u043f\u0430\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043e\u0441\u0442\u043e\u0432\u0430 \u0431\u0435\u043b\u043a\u0430 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0432\u0435\u0441\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.\" height=\"1462\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a3\/af1\/550\/2a3af1550d1e913d5ed45bd4e6846a02.png\" data-width=\"1932\"\/><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 (IPA). \u041e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u043c 3 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0432\u044b\u0440\u0435\u0437\u0430\u043d\u043d\u044b\u0439 \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u043f\u0430\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043e\u0441\u0442\u043e\u0432\u0430 \u0431\u0435\u043b\u043a\u0430 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0432\u0435\u0441\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/figcaption><\/figure>\n<p>\u0421\u0430\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0441\u0434\u0432\u0438\u0433\/\u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u0430\u043c\u0438\u043d\u043e\u043a\u0441\u0438\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432. \u0417\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0434\u0431\u043b\u043e\u043a \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430 \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u043c \u043c\u043e\u0434\u0443\u043b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0437\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u044b\u043c \u0431\u043b\u043e\u043a\u043e\u043c. \u041f\u043e\u0434\u0431\u043b\u043e\u043a \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430 \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e: \u0441\u0434\u0432\u0438\u0433 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430 \u0432 \u043d\u0435\u043c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0430\u043a \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430. \u041f\u043e\u0432\u043e\u0440\u043e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430 \u0442\u043e\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430, \u043d\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435 (\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438, \u0432\u0441\u0435 \u0432\u044b\u0447\u0438\u043b\u0441\u0435\u043d\u0438\u044f \u0434\u0435\u043b\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043f\u043e\u0432\u043e\u0440\u043e\u0442\u0430, \u0430 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Quaternions_and_spatial_rotation\" rel=\"noopener noreferrer nofollow\">\u043a\u0432\u0430\u0442\u0435\u0440\u043d\u0438\u043e\u043d\u043e\u0432<\/a>).<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0441\u043e\u0444\u0442 \u0438\u0437 \u043f\u0430\u043a\u0435\u0442\u0430 OpenMM, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0430\u043b\u0435\u0435 \u0440\u0435\u043b\u0430\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 (\u0434\u0443\u043c\u0430\u044e, \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u043b\u0435\u043a\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e, \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0430\u0440\u0442\u0443\u044e\u0442 \u043d\u0430\u0445\u043e\u0434\u044f\u0441\u044c \u0432\u0434\u0430\u043b\u0435\u043a\u0435 \u043e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0443\u0436\u0435 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443, \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043b\u0443\u0447\u0448\u0435).<\/p>\n<h4>Frame Aligned Point Error (FAPE) loss and auxiliary losses<\/h4>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 AlphaFold2, \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Frame Aligned Point Error (FAPE).<\/p>\n<p>FAPE \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u0430 \u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 (\u0447\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u043d\u043e, \u0432\u0435\u0434\u044c \u043e\u0442 \u0441\u0434\u0432\u0438\u0433\u0430\/\u043f\u043e\u0432\u043e\u0440\u043e\u0442\u0430 \u0432\u0441\u0435\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u0432 \u0446\u0435\u043b\u043e\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f) \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0445\u0438\u0442\u0440\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e L2-\u043d\u043e\u0440\u043c\u044b \u043f\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c \u0442\u044f\u0436\u0435\u043b\u044b\u0445 \u0430\u0442\u043e\u043c\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0441\u0442\u0430\u0442\u043a\u0435 \u0438 L1-\u043d\u043e\u0440\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 \u0441 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u043c\u0438 \u0443\u0445\u0438\u0449\u0440\u0435\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0434\u0435\u043b\u0430\u044e\u0442 \u0435\u0435 \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u043a \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c \u0438 \u0442.\u043f. (\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0431\u0435\u043b\u043a\u0430 \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c\u0441\u044f \u043f\u0435\u0442\u043b\u0438, \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u0442, \u043d\u043e \u044d\u0442\u043e \u043c\u0430\u043b\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0431\u0449\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443; \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 L2-\u043d\u043e\u0440\u043c\u044b \u0432 \u0447\u0438\u0441\u0442\u043e\u043c \u0432\u0438\u0434\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u043c \u0432 \u0438\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438; \u043c\u043e\u0433\u0443 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0445\u0438\u0449\u0440\u0435\u043d\u0438\u0439 \u0432 FAPE \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0439 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043a \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u0446\u044f\u043c). FAPE \u043c\u043e\u0436\u0435\u0442 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0438\u043b\u0438 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0435 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044b \u0438 \u0442\u043e\u0440\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0443\u0433\u043b\u044b <em>\u03c7<\/em>\u00a0\u0432 \u043d\u0438\u0445.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u043e\u043c\u0438\u043c\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c FAPE \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0435\u0449\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043b\u043e\u0441\u0441\u044b, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\" title=\"\" height=\"134\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c5\/75d\/5ec\/2c575d5ec4c25a8b26b6d85317138300.png\" data-width=\"1358\"\/><figcaption><\/figcaption><\/figure>\n<ul>\n<li>\n<p><em>LFAPE\u200b\u00a0&#8212; \u044d\u0442\u043e FAPE loss<\/em><\/p>\n<\/li>\n<li>\n<p>L<em>aux<\/em>\u200b\u00a0&#8212; \u044d\u0442\u043e \u043b\u043e\u0441\u0441 \u043f\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u043c \u043c\u043e\u0434\u0443\u043b\u0435<\/p>\n<\/li>\n<li>\n<p><em>Ldist\u200b\u00a0&#8212;<\/em> \u044d\u0442\u043e \u043b\u043e\u0441\u0441, \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0449\u0438\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c. AF2 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438, \u043d\u043e \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435\u00a0<em>\u0434\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u0430\u043c\u0438<\/em>. \u041e\u0448\u0438\u0431\u043a\u0438 \u0432 \u044d\u0442\u0438\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u0445 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u044c\u044e \u043e\u0431\u0449\u0435\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<\/li>\n<li>\n<p>L<em>msa<\/em>\u200b\u00a0&#8212; \u044d\u0442\u043e BERT-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u043b\u043e\u0441\u0441, \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0449\u0438\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u0435\u0435 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u0442\u044c. AlphaFold2 \u043c\u0430\u0441\u043a\u0438\u0440\u0443\u0435\u0442 \u0438\u043b\u0438 \u043c\u0443\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043c \u0431\u044b\u043b\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><em>Lconf\u200b\u00a0&#8212; <\/em>\u044d\u0442\u043e \u043b\u043e\u0441\u0441, \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0449\u0438\u0439 \u0441\u0442\u0435\u043f\u0435\u0440\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 pLDDT <\/p>\n<\/li>\n<li>\n<p>L<em>exp<\/em>\u00a0<em>resolved<\/em>\u200b\u00a0&#8212; \u044d\u0442\u043e \u043b\u043e\u0441\u0441 \u043e\u0442 \u0433\u043e\u043b\u043e\u0432\u044b, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0435\u0439, \u043f\u0440\u0438\u0448\u043b\u0430 \u043b\u0438 \u0434\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438\u0437 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0438\u043b\u0438 \u043f\u0441\u0435\u0432\u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438<\/p>\n<\/li>\n<li>\n<p>L<em>viol<\/em>\u200b\u00a0&#8212; \u044d\u0442\u043e \u043b\u043e\u0441\u0441, \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0449\u0438\u0439 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0439, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u043d\u0435\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0434\u043b\u0438\u043d\u044b \u0441\u0432\u044f\u0437\u0435\u0439 \u0438\u043b\u0438 \u0442\u043e\u0440\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0443\u0433\u043b\u044b, \u0441\u0442\u0435\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u0435\u043d\u0438\u044f \u0438 \u0442.\u043f.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0438\u043b\u0438 &#171;\u041f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0430&#187; (Refinement a.k.a. \u201crecycling\u201d)<\/h3>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u043a\u0430\u043a \u043d\u0438 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0432\u0441\u0435 \u044d\u0442\u0438 \u043f\u0440\u0435\u043c\u0443\u0434\u0440\u043e\u0441\u0442\u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0439 \u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c, \u0432\u043d\u043e\u0441\u044f\u0442 \u0434\u0430\u0436\u0435 \u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0447\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0438\u043b\u0438 &#171;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438&#187;, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438. \u0411\u0435\u0437 \u043c\u043e\u0434\u0443\u043b\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438, \u043d\u043e \u0441 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 AlphaFold2 \u0432\u0441\u0435 \u0435\u0449\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0435\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c &#171;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0443&#187;, \u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u0443\u0434\u0435\u0442 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 &#8212; \u0443\u0431\u0440\u0430\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c &#171;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0443&#187;!<\/p>\n<p>\u0418\u0434\u0435\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043d \u0438\u0437 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u044b (\u0441\u043c. \u0441\u0442\u0430\u0442\u044c\u044e\u00a0<a href=\"https:\/\/arxiv.org\/pdf\/1507.06550.pdf\" rel=\"noopener noreferrer nofollow\">Human Pose Estimation<\/a>).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u043f\u043e\u0434\u0445\u043e\u0434\u0430 Iterative Error Feedback \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 &quot;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438&quot;. \" title=\"\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u043f\u043e\u0434\u0445\u043e\u0434\u0430 Iterative Error Feedback \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 &quot;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438&quot;. \" height=\"854\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5f\/73c\/09e\/a5f73c09e8b82c2b714d7a440e283129.png\" data-width=\"1356\"\/><figcaption>\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u043f\u043e\u0434\u0445\u043e\u0434\u0430 Iterative Error Feedback \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 &#171;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438&#187;. <\/figcaption><\/figure>\n<p>\u0427\u0442\u043e\u0431\u044b \u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u043e\u0437\u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0438 \u043f\u043e\u0437\u0443 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u0435\u043c \u0438\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043a\u0430\u043a \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043a\u0430\u043d\u0430\u043b\u044b, \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u0443\u0442\u043e\u0447\u043d\u044f\u0442\u044c \u043f\u043e\u0437\u0443. \u0412\u043f\u043e\u043b\u043d\u0435 \u043b\u043e\u0433\u0438\u0447\u043d\u043e, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430 \u0431\u0435\u043b\u043a\u0430 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043d\u0435 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u044b \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043d\u0430 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438.<\/p>\n<p>\u0423 \u043c\u0435\u043d\u044f \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u043e \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e\u043c \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 DeepMind \u0438\u0441\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0430 \u0434\u0432\u0430 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430, \u0438 \u0432 \u0438\u0442\u043e\u0433\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u043e\u0431\u0430, \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435 \u043c\u043e\u0433\u043b\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438 \u0438 \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430. \u0412 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u0435\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0438 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438 &#8212; \u044d\u0442\u043e \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u043e\u0432\u0430, \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430, \u0447\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043e\u0431\u0430 \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u043e\u043f\u043e\u043b\u043d\u044f\u044e\u0449\u0438\u043c\u0438.<\/p>\n<h3>\u0421\u0430\u043c\u043e\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f<\/h3>\n<p>\u0421\u0430\u043c\u043e\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f &#8212; \u044d\u0442\u043e \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u043f\u0440\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u0438\u043b\u0438 DeepMind \u043f\u0440\u043e\u0431\u0438\u0442\u044c baseline (\u0441\u043c. \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438).<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 (\u0431\u043e\u043b\u0435\u0435 200 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439) \u043b\u0438\u0448\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 (\u043c\u0435\u043d\u0435\u0435 200 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440), \u0435\u0441\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044f (semi-supervised learning). \u041a\u043e\u043c\u0430\u043d\u0434\u0430 DeepMind \u0438\u0437\u0431\u0440\u0430\u043b\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434.<\/p>\n<h4>Noisy Student Training<\/h4>\n<p>\u0421\u043c. \u0441\u0442\u0430\u0442\u044c\u044e\u00a0<a href=\"https:\/\/arxiv.org\/pdf\/1911.04252v4.pdf\" rel=\"noopener noreferrer nofollow\">Self-training with Noisy Student improves ImageNet classification<\/a>.<\/p>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434 Noisy Student Training \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0439 state-of-the-art \u043d\u0430 ImageNet, \u043f\u043e\u0434\u043d\u044f\u0432 top-1 accuracy \u043d\u0430 2% \u0434\u043e 88.4% \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e 3.5 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 Instagram.<\/p>\n<p>Noisy Student Training \u044d\u0442\u043e \u043f\u043e\u0434\u043e\u0445\u043e\u0434 \u0441 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041e\u043d \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0438\u0434\u0435\u0438 \u0441\u0430\u043c\u043e-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439-\u0443\u0447\u0435\u043d\u0438\u043a\u043e\u0432 \u0440\u0430\u0432\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044c, \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0448\u0443\u043c\u0430 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0447\u0435\u043d\u0438\u043a\u0430. \u041e\u043d \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 3 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0448\u0430\u0433\u0430:<\/p>\n<ol>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u0443\u0447\u0438\u0442\u0435\u043b\u044f \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0447\u0442\u043e\u0431\u044b \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0441\u0435\u0432\u0434\u043e-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u043d\u0430 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c-\u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u043d\u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 \u0438 \u043f\u0441\u0435\u0432\u0434\u043e-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439.<\/p>\n<\/li>\n<\/ol>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u043e\u0431\u0443\u0447\u0430\u044f \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0435\u0433\u043e \u043a\u0430\u043a \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043d\u043e\u0432\u043e \u0440\u0430\u0437\u043c\u0435\u0442\u0438\u0442\u044c \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u044b\u0439 \u0443\u0447\u0435\u043d\u0438\u043a.<\/p>\n<p>Noisy Student Training &#8212; \u044d\u0442\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0441\u0430\u043c\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0441\u0430\u043c\u043e\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0443\u0447\u0435\u043d\u0438\u043a \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0435\u043d\u0438\u043a\u0443 \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0448\u0435\u043c\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0448\u0443\u043c, \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u044f\u044e\u0449\u0438\u0439 \u0443\u0447\u0435\u043d\u0438\u043a\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0441\u0435\u0432\u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0448\u0443\u043c\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0442\u0438\u043f\u0430 RandAugment, \u0438 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0439 \u043f\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e dropout&#8217;\u0430 \u0438 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u043c\u043e\u0434\u0435\u043b\u0438 (\u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 ResNet&#8217;\u0430\u0445, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Noisy Student Training: \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u0441\u0435\u0432\u0434\u043e-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0434\u043b\u044f \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0434\u043e\u0431\u0432\u0430\u043b\u044f\u0435\u043c \u0448\u0443\u043c (\u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e, \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 ResNet, \u0434\u0440\u043e\u043f\u0430\u0443\u0442) \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0430 \u044d\u0442\u0438\u0445 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0441\u0435\u0432\u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044c. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437.\" title=\"\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Noisy Student Training: \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u0441\u0435\u0432\u0434\u043e-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0434\u043b\u044f \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0434\u043e\u0431\u0432\u0430\u043b\u044f\u0435\u043c \u0448\u0443\u043c (\u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e, \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 ResNet, \u0434\u0440\u043e\u043f\u0430\u0443\u0442) \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0430 \u044d\u0442\u0438\u0445 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0441\u0435\u0432\u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044c. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437.\" height=\"730\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5cd\/d3d\/3b0\/5cdd3d3b01981cd7d48ddde58a28b510.png\" data-width=\"1030\"\/><figcaption>\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Noisy Student Training: \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u0441\u0435\u0432\u0434\u043e-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0434\u043b\u044f \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0434\u043e\u0431\u0432\u0430\u043b\u044f\u0435\u043c \u0448\u0443\u043c (\u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e, \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 ResNet, \u0434\u0440\u043e\u043f\u0430\u0443\u0442) \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0430 \u044d\u0442\u0438\u0445 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0441\u0435\u0432\u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c-\u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044c. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437.<\/figcaption><\/figure>\n<h3>\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p>AF2 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 TPUv3 \u043e\u043a\u043e\u043b\u043e \u043d\u0435\u0434\u0435\u043b\u0438, \u0438 \u0437\u0430\u0442\u0435\u043c \u0434\u043e\u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u0430\u0441\u044c \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 4 \u0434\u043d\u0435\u0439.<\/p>\n<p>\u041b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 20GB \u0432\u0438\u0434\u0435\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u043d\u0430 TPUv3 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e 16GB. \u041f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0432\u044b\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f: \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 \u0447\u0430\u0441\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 &#171;\u0437\u0430\u0431\u044b\u0432\u0430\u043b\u0438&#187;  \u0438 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0438 \u0438\u0445 \u043d\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0436\u0435\u0440\u0442\u0432\u043e\u0432\u0430\u0442\u044c FLOPS \u0447\u0442\u043e\u0431\u044b \u0443\u043b\u043e\u0436\u0438\u0442\u044c\u0441\u044f \u0432 VRAM.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f AlphaFold2\" title=\"\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f AlphaFold2\" height=\"616\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e68\/c49\/a4f\/e68c49a4f053a6f923d4004a68536e0c.png\" data-width=\"1438\"\/><figcaption>\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f AlphaFold2<\/figcaption><\/figure>\n<h3>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438<\/h3>\n<p>\u041d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 (\u0430) \u043d\u0438\u0436\u0435 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a\u043e\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b AF2 \u0432\u043d\u043e\u0441\u044f\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0435\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b. \u041d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 (b) \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u043a \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0441\u043b\u043e\u044e \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0434\u043b\u044f 3 \u0431\u0435\u043b\u043a\u043e\u0432 &#8212; \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e, \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u0435\u043b\u043a\u043e\u0432 \u0432\u044b\u0440\u0438\u0441\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u043a\u0438\u0445 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0441\u043b\u043e\u0435\u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0430 \u0432\u043e\u0442 \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 &#8212; \u0441\u043b\u043e\u0435\u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u0446\u0438\u043a\u043b\u043e\u0432 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<a href=\"http:\/\/localhost:8000\/static\/3f2fb8d5b8deb5e89a430ec02b1bb468\/f5209\/AF2_ablations.png\" rel=\"noopener noreferrer nofollow\"> <\/a><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438: (\u0430) \u0432\u043a\u043b\u0430\u0434 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u043e\u0431\u0449\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 (b) \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0441\u043a\u0438\u0437\u0430 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e, \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430: \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u0435\u043b\u043a\u043e\u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043a 30-\u043e\u043c\u0443 \u0431\u043b\u043e\u043a\u0443 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043a \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c.\" title=\"\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438: (\u0430) \u0432\u043a\u043b\u0430\u0434 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u043e\u0431\u0449\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 (b) \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0441\u043a\u0438\u0437\u0430 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e, \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430: \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u0435\u043b\u043a\u043e\u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043a 30-\u043e\u043c\u0443 \u0431\u043b\u043e\u043a\u0443 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043a \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c.\" height=\"1389\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ab\/8f4\/f34\/8ab8f4f346f77d6884d6e094c7ad382a.png\" data-width=\"1061\"\/><figcaption>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438: (\u0430) \u0432\u043a\u043b\u0430\u0434 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u043e\u0431\u0449\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 (b) \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0441\u043a\u0438\u0437\u0430 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e, \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430: \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u0435\u043b\u043a\u043e\u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043a 30-\u043e\u043c\u0443 \u0431\u043b\u043e\u043a\u0443 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u042d\u0432\u043e\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043a \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c.<\/figcaption><\/figure>\n<h3>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/h3>\n<ul>\n<li>\n<p><a href=\"https:\/\/www.nature.com\/articles\/s41586-021-03819-2\" rel=\"noopener noreferrer nofollow\">https:\/\/www.nature.com\/articles\/s41586-021-03819-2<\/a>\u00a0&#8212; \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f AlphaFold2<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/static-content.springer.com\/esm\/art%3A10.1038%2Fs41586-021-03819-2\/MediaObjects\/41586_2021_3819_MOESM1_ESM.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/static-content.springer.com\/esm\/art%3A10.1038%2Fs41586-021-03819-2\/MediaObjects\/41586_2021_3819_MOESM1_ESM.pdf<\/a>\u00a0&#8212; \u0434\u043e\u043f\u043e\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u043a \u0441\u0442\u0430\u0442\u044c\u0435 AlphaFold2 <\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/deepmind\/alphafold\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/deepmind\/alphafold<\/a>\u00a0&#8212; \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 AlphaFold2<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/moalquraishi.wordpress.com\/2021\/07\/25\/the-alphafold2-method-paper-a-fount-of-good-ideas\/\" rel=\"noopener noreferrer nofollow\">https:\/\/moalquraishi.wordpress.com\/2021\/07\/25\/the-alphafold2-method-paper-a-fount-of-good-ideas\/<\/a>\u00a0&#8212; \u0431\u043b\u043e\u0433 \u043f\u043e\u0441\u0442 \u041c\u043e \u0410\u043b\u044c\u041a\u0440\u0430\u0438\u0448\u0438 (Mohammed Al Quraishi) \u043e AF2<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/cs371.stanford.edu\/2018_slides\/coevolution.pdf\" rel=\"noopener noreferrer nofollow\">http:\/\/cs371.stanford.edu\/2018_slides\/coevolution.pdf<\/a>\u00a0&#8212; \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0438\u0437 \u0421\u0442\u044d\u043d\u0444\u043e\u0440\u0434\u0430 \u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u0431\u0435\u043b\u043a\u043e\u0432<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.ncbi.nlm.nih.gov\/pmc\/articles\/PMC5493203\/\" rel=\"noopener noreferrer nofollow\">https:\/\/www.ncbi.nlm.nih.gov\/pmc\/articles\/PMC5493203\/<\/a>\u00a0&#8212; \u0421\u0435\u0440\u0433\u0435\u0439 \u041e\u0432\u0447\u0438\u043d\u043d\u0438\u043a\u043e\u0432 \u043e\u0431 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u0435\u0442\u0430\u0433\u0435\u043d\u043e\u043c\u0438\u043a\u0438 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/nlp.seas.harvard.edu\/2018\/04\/03\/attention.html\" rel=\"noopener noreferrer nofollow\">http:\/\/nlp.seas.harvard.edu\/2018\/04\/03\/attention.html<\/a>\u00a0&#8212; \u0430\u043d\u043d\u043e\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2002.05202\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/abs\/2002.05202<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cGLU Variants Improve Transformer\u201d, \u0433\u0434\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0437\u0430\u0442\u0432\u043e\u0440\u0430\/\u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f (gating), \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432 AF2<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/1912.00349.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/pdf\/1912.00349.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cNot All Attention Is Needed: Gated Attention Network for Sequence Data\u201d &#8212; \u0435\u0449\u0435 \u043f\u0440\u043e \u0437\u0430\u0442\u0432\u043e\u0440\/\u0437\u0430\u043f\u0438\u0440\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/openaccess.thecvf.com\/content_ECCV_2018\/papers\/Pau_Rodriguez_Lopez_Attend_and_Rectify_ECCV_2018_paper.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/openaccess.thecvf.com\/content_ECCV_2018\/papers\/Pau_Rodriguez_Lopez_Attend_and_Rectify_ECCV_2018_paper.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cAttend and Rectify: a Gated Attention Mechanism for Fine-Grained Recovery.\u201d &#8212; \u0435\u0449\u0435 \u043f\u0440\u043e \u0437\u0430\u0442\u0432\u043e\u0440\/\u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/1811.11721v2.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/pdf\/1811.11721v2.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cCCNet: Criss-Cross Attention for Semantic Segmentation\u201d \u043f\u0440\u043e \u043e\u0441\u0435\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 (axial\/criss-cross attention)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2102.10662.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/pdf\/2102.10662.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cMedical Transformer: Gated Axial-Attention for Medical Image Segmentation\u201d \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0441\u0435\u0432\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.youtube.com\/watch?v=Uk7m93V14KA\" rel=\"noopener noreferrer nofollow\">https:\/\/www.youtube.com\/watch?v=Uk7m93V14KA<\/a>\u00a0&#8212; \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0434\u043e\u043a\u043b\u0430\u0434 \u043f\u043e Medical Transformer \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/1802.08219.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/pdf\/1802.08219.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e SE(3)-\u044d\u043a\u0432\u0438\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u201cTensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds\u201d<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2006.10503.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/pdf\/2006.10503.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u0433\u0440\u0443\u043f\u043f\u044b \u041c\u0430\u043a\u0441\u0430 \u0412\u0435\u043b\u043b\u0438\u043d\u0433\u0430 \u043f\u0440\u043e SE(3)-\u044d\u043a\u0432\u0438\u0432\u0430\u0440\u0438\u043d\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u201cSE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks\u201d<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/papers.nips.cc\/paper\/2019\/file\/f3a4ff4839c56a5f460c88cce3666a2b-Paper.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/papers.nips.cc\/paper\/2019\/file\/f3a4ff4839c56a5f460c88cce3666a2b-Paper.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cGenerative models for graph-based protein design\u201d<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/1507.06550.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/pdf\/1507.06550.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cHuman Pose Estimation with Iterative Error Feedback\u201d \u0441 \u043f\u043e\u0434\u043e\u0445\u043e\u0434\u043e\u043c, \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c &#171;\u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0435&#187; \u0432 AF2<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/1911.04252.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/pdf\/1911.04252.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u201cSelf-training with Noisy Student improves ImageNet classification\u201d \u0441 \u043f\u043e\u0434\u043e\u0445\u043e\u043c, \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u0441\u0430\u043c\u043e\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u0432 AF2<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.biorxiv.org\/content\/10.1101\/2021.02.12.430858v1.full\" rel=\"noopener noreferrer nofollow\">https:\/\/www.biorxiv.org\/content\/10.1101\/2021.02.12.430858v1.full<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e MSA Transformer \u043e\u0442 \u0433\u0440\u0443\u043f\u043f\u044b \u041f\u0438\u0442\u0435\u0440\u0430 \u0410\u0431\u0431\u0438\u043b\u0430<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.ddw-online.com\/media\/32\/03.sum.the-cost-and-value-of-three-dimensional-protein-structure.pdf\" rel=\"noopener noreferrer nofollow\">https:\/\/www.ddw-online.com\/media\/32\/03.sum.the-cost-and-value-of-three-dimensional-protein-structure.pdf<\/a>\u00a0&#8212; \u0441\u0442\u0430\u0442\u044c\u044f 2003 \u0433\u043e\u0434\u0430 \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0444\u0438\u043d\u0430\u043d\u0441\u043e\u0432\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430, \u0437\u0430\u0442\u0440\u0430\u0442 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0443\u0441\u043f\u0435\u0445\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/blog.inten.to\/hardware-for-deep-learning-part-4-asic-96a542fe6a81\" rel=\"noopener noreferrer nofollow\">https:\/\/blog.inten.to\/hardware-for-deep-learning-part-4-asic-96a542fe6a81<\/a>\u00a0&#8212; \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043e ASIC&#8217;\u0430\u0445 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0442 \u0413\u0440\u0438\u0433\u043e\u0440\u0438\u0439 \u0421\u0430\u043f\u0443\u043d\u043e\u0432\u0430 \u0438\u0437 Intento<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/en.wikipedia.org\/wiki\/High_Bandwidth_Memory\" rel=\"noopener noreferrer nofollow\">https:\/\/en.wikipedia.org\/wiki\/High_Bandwidth_Memory<\/a>\u00a0&#8212; \u043e\u0431 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432  GPU<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/t.me\/gonzo_ML\/787\" rel=\"noopener noreferrer nofollow\">https:\/\/t.me\/gonzo_ML\/787<\/a>\u00a0&#8212; \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u0439 \u043f\u043e\u0441\u0442 \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c\u0435 \u043e gMLP \u043e\u0442 \u0413\u0440\u0438\u0433\u043e\u0440\u0438\u044f \u0421\u0430\u043f\u0443\u043d\u043e\u0432\u0430, \u0433\u0434\u0435 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0435 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d\u044b \u0441 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0437\u0430\u043f\u0438\u0440\u0430\u043d\u0438\u044f\/\u0437\u0430\u0442\u0432\u043e\u0440\u0430\u043c\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0440\u0435\u0437\u0430\u043b\u044c\u0442\u0430\u0442\u044b, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0435 \u0441 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044e \u0410\u043d\u0432\u0430\u0440\u0430 \u041a\u0443\u0440\u043c\u0443\u043a\u043e\u0432\u0430, \u041e\u043b\u044c\u0433\u0443 \u0417\u043e\u043b\u043e\u0442\u0430\u0440\u0435\u0432\u0443 \u0438 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u0430 \u0427\u0435\u0440\u0432\u043e\u0432\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 <a href=\"https:\/\/t.me\/sberlogabio\" rel=\"noopener noreferrer nofollow\">SBERLOGA<\/a> \u0437\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u0432 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0435 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430.  \u041e\u0431\u0440\u0430\u0449\u0430\u044e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043c\u043e\u0435\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b AlphaFold2 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (\u0445\u043e\u0442\u044f \u044f \u0438 \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0438\u0445 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043a\u0430\u043a \u043c\u043e\u0433).<\/p>\n<\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/599703\/\"> https:\/\/habr.com\/ru\/post\/599703\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\" class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>DeepMind AlphaFold2 \u0438 Github Copilot \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u044f\u0440\u043a\u0438\u0445 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u043d\u0430\u0443\u043a\u0438 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u0432 2021 \u0433\u043e\u0434\u0443. \u0421\u043f\u0443\u0441\u0442\u044f \u0434\u0432\u0430 \u0433\u043e\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0440\u044b\u0432\u0430 AlphaFold, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0438\u0437 DeepMind \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0432\u0442\u043e\u0440\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0438\u0445 \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u043e\u0432 \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041d\u0430 \u0441\u0435\u0439 \u0440\u0430\u0437 \u0438\u043c, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0440\u0435\u0448\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0444\u043e\u043b\u0434\u0438\u043d\u0433\u0430 \u0431\u0435\u043b\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u043d\u0435\u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0431\u043e\u043b\u0435\u0435 50 \u043b\u0435\u0442. \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u043a\u0440\u0430\u0442\u043a\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u044d\u0442\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u0430\u043a \u044f \u0435\u0433\u043e \u0432\u0438\u0436\u0443. <\/p>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h2>\n<ul>\n<li>\n<p>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0442\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0432 \u0446\u0435\u043b\u043e\u043c<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438: \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 Uniprot, Mgnify; \u043f\u0430\u043a\u0435\u0442 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c HMMER<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b: \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 PDB; \u043f\u0430\u043a\u0435\u0442\u044b \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c HHpred, OpenMM<\/p>\n<\/li>\n<li>\n<p>Evoformer: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0439 \u0438 \u043f\u0430\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c: 3D \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/p>\n<ul>\n<li>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0438: \u0417\u0430\u043f\u0440\u043e\u0441\u044b (Queries), \u041a\u043b\u044e\u0447\u0438 (Keys) \u0438 \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f (Values), \u043d\u0435\u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043f\u043e\u0438\u0441\u043a \u0432 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u041c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>Evoformer: \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0439 \u0438 \u043f\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/p>\n<ul>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043e\u0441\u044f\u043c (Criss-cross (axial) attention)<\/p>\n<\/li>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u043f\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/p>\n<\/li>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u0439 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c<\/p>\n<ul>\n<li>\n<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441 \u043d\u0435\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 (Invariant Point Attention, IPA)<\/p>\n<\/li>\n<li>\n<p>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u043e\u0432\u0430<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u043b\u0430\u043a\u0441\u0430\u0446\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 (OpenMM)<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c: FAPE \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u043a\u0430 (refinement\/recycling)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0430\u043c\u043e\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f (self-distillation)<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438<\/p>\n<\/li>\n<\/ul>\n<h3>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438<\/h3>\n<p>\u0411\u0435\u043b\u043a\u0438 &#8212; \u044d\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043f\u043e\u043b\u0438\u043c\u0435\u0440\u044b, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0438\u0437 \u043c\u043e\u043d\u043e\u043c\u0435\u0440\u043e\u0432 &#8212; \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442 &#8212; \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b. \u0422\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u043e\u0432 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043f\u043e\u043d\u044f\u0442\u044c \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430\/\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043d\u043e\u0432\u044b\u0445 \u043b\u0435\u043a\u0430\u0440\u0441\u0442\u0432.<\/p>\n<p>\u041f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u043b\u043a\u0430 \u0434\u0435\u0448\u0435\u0432\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u043c\u0430\u0441\u0441-\u0441\u043f\u0435\u043a\u0442\u0440\u043e\u043c\u0435\u0442\u0440\u0438\u0438 (\u043f\u043e\u0440\u044f\u0434\u043a\u0430 $100 \u0437\u0430 \u043e\u0431\u0440\u0430\u0437\u0435\u0446) \u0438\u043b\u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0449\u0435\u0439 \u0434\u0430\u043d\u043d\u044b\u0439 \u0431\u0435\u043b\u043e\u043a \u0414\u041d\u041a ($100-$1000 \u0437\u0430 \u044d\u043a\u0437\u043e\u043c\/\u0433\u0435\u043d\u043e\u043c). \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430 &#8212; \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u0438 \u0442\u0440\u0443\u0434\u043e\u0435\u043c\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 ($100k-$1M \u0437\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u0438\u043b\u0438 \u042f\u041c\u0420.<\/p>\n<figure class=\"full-width\"><figcaption>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438 (\u0434\u0430\u043d\u043d\u044b\u0435 2003 \u0433\u043e\u0434\u0430).<\/figcaption><\/figure>\n<p>\u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0434\u043b\u044f \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0435\u043b\u043a\u0430 (\u0447\u0442\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e; \u0442\u0430\u043a, \u043f\u043b\u043e\u0445\u043e \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043c\u044b\u0435 \u0431\u0435\u043b\u043a\u0438 \u043f\u043b\u043e\u0445\u043e \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f), \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u0434\u0438\u0444\u0440\u0430\u043a\u0446\u0438\u0438 \u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u043c \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0435 \u0431\u0435\u043b\u043a\u0430, \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0444\u0430\u0437\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u043b\u043a\u0430 \u043f\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438. <\/p>\n<figure class=\"full-width\"><figcaption>\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0438\u0438. 1. \u0411\u0435\u043b\u043e\u043a \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f. 2. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u0434\u0438\u0444\u0440\u0430\u043a\u0446\u0438\u044f \u043d\u0430 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b\u0435. 3-4. \u0420\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0444\u0430\u0437\u043e\u0432\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. 5. \u041a\u0430\u0440\u0442\u044b \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u0438 \u043f\u043e \u043d\u0438\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430.<\/figcaption><\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u0438\u0441\u0442\u0438\u043d\u043e\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u043d\u043e\u0433\u0438\u0435 \u0448\u0430\u0433\u0438 \u0432 \u043d\u0435\u043c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u0435\u0440\u0435 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u043e\u043c. \u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u0440\u0438\u0441\u0442\u0430\u043b\u043b (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0438 \u043d\u0435 \u0441\u0432\u0430\u0440\u0438\u0442\u044c\u0441\u044f, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u043f\u043b\u043e\u0445\u043e \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043c\u044b\u0445 \u043c\u0435\u043c\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u043b\u043a\u043e\u0432). \u0420\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Phase_problem\" rel=\"noopener noreferrer nofollow\">\u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0444\u0430\u0437\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/a> \u043d\u0435\u043c\u0430\u043b\u043e. \u041f\u043e \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043a\u0430\u0440\u0442\u0435 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f) \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0442\u043e\u0440\u0430 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e (\u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 10-20%) \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439. \u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0431\u0435\u043b\u043a\u0438 \u0432 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0435 \u0436\u0438\u0432\u0443\u0442 \u0438 &#171;\u0434\u044b\u0448\u0430\u0442&#187;, \u0438 \u0438\u0445 \u0440\u0435\u043d\u0442\u0433\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 &#171;\u0436\u0438\u0432\u043e\u0439&#187; \u0431\u0435\u043b\u043e\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0435\u0440\u0435, \u0432 \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0442\u0440\u0443\u043f\u043e\u0432, \u0441\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0448\u0442\u0430\u0431\u0435\u043b\u044f\u043c\u0438 \u0432 \u043c\u043e\u0440\u0433\u0435, \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0436\u0438\u0432\u044b\u0445 \u043b\u044e\u0434\u0435\u0439. \u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f, \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044b\u0439 AlphaFold2 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c, \u043c\u0430\u043b\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0443\u0440\u043e\u0432\u043d\u044f \u0440\u0430\u0437\u043d\u043e\u0433\u043b\u0430\u0441\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u0440\u0443\u043f\u043f, \u0434\u0435\u043b\u0430\u044e\u0449\u0438\u0445 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0431\u0435\u043b\u043a\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u0447\u0438\u0442\u0430\u044e, \u0447\u0442\u043e AF2 \u0441\u043a\u043e\u0440\u0435\u0435 \u0440\u0435\u0448\u0438\u043b \u0437\u0430\u0434\u0430\u0447\u0443 \u0444\u043e\u043b\u0434\u0438\u043d\u0433\u0430 \u0431\u0435\u043b\u043a\u0430, \u0447\u0435\u043c \u043d\u0435 \u0440\u0435\u0448\u0438\u043b (\u043f\u0443\u0441\u0442\u044c \u0438 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430\u043c\u0438).<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043e\u0442 AlphaFold2 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043d\u043e\u0432\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430, \u0438\u043c\u0435\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0431\u0435\u043b\u043a\u043e\u0432 \u0438\u0437 \u043e\u0431\u0449\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0411\u0435\u043b\u043a\u043e\u0432\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0431\u0435\u043b\u043a\u043e\u0432 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0432 \u0431\u0430\u043d\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0<a href=\"https:\/\/www.uniprot.org\/\" rel=\"noopener noreferrer nofollow\">Uniprot<\/a>\u00a0(\u0433\u0434\u0435 \u0438\u0445 \u0431\u043e\u043b\u0435\u0435 200 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432) \u0438 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0<a href=\"https:\/\/www.ebi.ac.uk\/metagenomics\/\" rel=\"noopener noreferrer nofollow\">MGnify<\/a> (\u043e \u043d\u0435\u0439 &#8212; \u043f\u043e\u0437\u0436\u0435).<\/p>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u043e\u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0432 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0<a href=\"https:\/\/www.rcsb.org\/\" rel=\"noopener noreferrer nofollow\">PDB<\/a> (\u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0435\u0439 \u043c\u0435\u043d\u0435\u0435 200 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440). \u0412 \u043d\u0435\u0439 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0444\u0430\u0439\u043b\u044b .pdb \u0441\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430\u043c\u0438 \u0431\u0435\u043b\u043a\u043e\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u0439\u043b \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0432\u0441\u0435\u0445 \u0430\u0442\u043e\u043c\u043e\u0432 \u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u044f\u0436\u0435\u043b\u044b\u0445 \u0430\u0442\u043e\u043c\u043e\u0432 (\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u0430\u0442\u043e\u043c\u043e\u0432 \u0432\u043e\u0434\u043e\u0440\u043e\u0434\u0430) \u0431\u0435\u043b\u043a\u0430.<\/p>\n<h2>\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f AlphaFold2<\/h2>\n<p>\u041c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430\u00a0<em>in silico<\/em>, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u0439 \u0444\u0438\u0437\u0438\u043a\u0435, \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0445 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c. \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c.<\/p>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0431\u0435\u043b\u043a\u0438 \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u044b \u0432 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043b\u043e\u0448\u0430\u0434\u0438 \u0438\u043b\u0438 \u0440\u044b\u0431\u044b \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u0433\u0435\u043c\u043e\u0433\u043b\u043e\u0431\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430. \u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0431\u0435\u043b\u043a\u0430 \u0443 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f <em>\u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0430\u043c\u0438<\/em>.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0430\u0441\u0441\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u043d\u043e\u0441\u044f\u0442 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440 (\u0442.\u0435. \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043c\u0443\u0442\u0430\u0446\u0438\u0439 \u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0431\u0435\u043b\u043a\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445 \u0431\u0435\u043b\u043a\u043e\u0432 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043c\u0435\u043d). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u043e\u0432 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u0435\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u043b\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u0432\u0438\u0434\u0430\u043c\u0438\u00a0\u0438\u0437\u043c\u0435\u043d\u0438\u0430\u043b\u0441\u044c \u043d\u0430 70%, \u0430 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u0430 \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c. \u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u0443\u044e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0431\u0435\u043b\u043a\u0430\u0445, \u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0431\u0435\u043b\u043a\u043e\u0432 \u0432 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435\u043c<\/em> (multiple sequence alignment, MSA). \u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u043b\u043a\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u044f\u0434\u044b, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0443 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u0438\u0445 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u0445.<\/p>\n<figure class=\"full-width\"><figcaption>\u0412\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0431\u0435\u043b\u043a\u043e\u0432 (\u0441\u043b\u0435\u0432\u0430) \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043b\u043a\u0430 (\u0441\u043f\u0440\u0430\u0432\u0430). \u041d\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0432\u0430\u0440\u0438\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0435, \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0438 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u043c\u0438 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u043c\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 \u0438 \u0442\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u044b \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.<\/figcaption><\/figure>\n<p>\u041a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0432\u0430\u0436\u043d\u0430 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0431\u0435\u043b\u043a\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043a\u0430\u0442\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438 \u0443\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u043d\u0438\u044f. \u0413\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u0435\u0441\u043b\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u043d\u0438\u044f \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u043d, \u0442\u043e \u0432\u0441\u0435 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u044b, \u0432 \u0431\u0435\u043b\u043a\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0437\u0430\u043c\u0435\u043d\u0430 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u0432\u044b\u043c\u0435\u0440\u043b\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u044d\u0442\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0432\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435.<\/p>\n<p>\u041a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 (\u0438, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438\u0445 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435). \u042d\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0436\u0438\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0435\u043b\u043a\u0430.<\/p>\n<p>\u0425\u043e\u0447\u0443 \u0442\u0430\u043a\u0436\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0440\u043e\u043b\u044c \u043c\u0435\u0442\u0430\u0433\u0435\u043d\u043e\u043c\u0438\u043a\u0438 \u0432 \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u0445 \u0443\u0441\u043f\u0435\u0445\u0430\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440. \u041e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u043b\u043a\u0438 \u0432 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u0440\u043e\u0434\u0435 Uniprot \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u0438\u0437 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u0443\u043b\u044c\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041e\u0434\u043d\u0430\u043a\u043e, \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0438\u043a\u0440\u043e\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u043e\u0432 \u0432 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0432\u044b\u0440\u0430\u0449\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f, \u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0431\u0435\u043b\u043a\u043e\u0432 \u0432 \u043d\u0438\u0445 \u043e\u0433\u0440\u043e\u043c\u043d\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 2000-\u044b\u0435 \u0433\u043e\u0434\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u043e\u0448\u043b\u0438 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438: \u043e\u043d\u0438 \u0441\u0442\u0430\u043b\u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u0438\u0434\u044b, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0437\u0446\u044b \u0438\u0437 \u0441\u0440\u0435\u0434\u044b, \u0438 \u0441\u0435\u043a\u0432\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u044e \u0414\u041d\u041a \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0431\u0443\u043b\u044c\u043e\u043d\u0430. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 &#171;\u043c\u0435\u0442\u0430\u0433\u0435\u043d\u043e\u043c\u043d\u044b\u0435&#187; \u043e\u0431\u0440\u0430\u0437\u0446\u044b \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043c\u0430\u0441\u0441\u0443 \u043d\u043e\u0432\u044b\u0445 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0431\u0435\u043b\u043a\u043e\u0432, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u0438\u0437 \u043d\u0438\u0445 \u043f\u043e\u0432\u044b\u0441\u0438\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u0431\u0435\u043b\u043a\u043e\u0432 \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 2010-\u044b\u0445. AlphaFold2 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u0430\u043a\u0443\u044e \u043c\u0435\u0442\u0430\u0433\u0435\u043d\u043e\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 MGnify, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a Uniprot.<\/p>\n<h3>\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 AlphaFold2<\/h3>\n<p>\u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0442\u0435\u0440\u043c\u0438\u043d \u201cAlphaFold2\u201d \u0432 \u0434\u0432\u0443\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u0445: \u0432 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e \u0432\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0430\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c \u0438 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0443\u0437\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u043b\u0435\u0436\u0430\u0449\u0430\u044f \u0432 \u0441\u0435\u0440\u0434\u0446\u0435 \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0430.<\/p>\n<figure class=\"full-width\"><figcaption>\u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b AlphaFold2 \u0441 \u0432\u044b\u0441\u043e\u0442\u044b \u043f\u0442\u0438\u0447\u044c\u0435\u0433\u043e \u043f\u043e\u043b\u0435\u0442\u0430.<\/figcaption><\/figure>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 AlphaFold2 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u043b\u043a\u0430. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0448\u0430\u0433\u0435 \u043e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u0438\u0437 \u043f\u0430\u043a\u0435\u0442\u0430 HMMER \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 Uniprot \u0438 MGnify. \u041f\u0430\u043a\u0435\u0442 HMMER \u0431\u044b\u043b \u0441\u043e\u0437\u0434\u0430\u043d \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 2000-\u044b\u0445, \u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u041c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445\/\u041c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u0446\u0435\u043f\u044f\u0445. \u0422\u043e\u0433\u0434\u0430 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043b \u0432 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0438\/\u0441\u0438\u043d\u0442\u0435\u0437\u0435 \u0440\u0435\u0447\u0438, \u0438 \u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u043a\u0438 \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0435\u0433\u043e \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u043d\u0443\u0436\u0434. HMMER \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0438 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u0432 \u0431\u0430\u0437\u0430\u0445 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d \u043d\u0430\u0448\u0435\u043b.<\/p>\n<p>AF2 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0430\u043a\u0435\u0442 HH-suite \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u043f\u043e \u0431\u0430\u043d\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 PDB, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0430\u043c \u043f\u043e\u0434\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u043d\u0430\u043c \u043f\u043e\u0432\u0435\u0437\u043b\u043e, \u0438 \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0438\u0437 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u043e\u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u043b\u043a\u0430 \u0443\u0436\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0430, \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u0440\u0430\u0442\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442\u0441\u044f &#8212; \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0433\u043e\u043c\u043e\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c, \u0433\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043d\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u0431\u0435\u043b\u043a\u0430 \u043d\u0430 \u044d\u0442\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443. \u041e\u0434\u043d\u0430\u043a\u043e, \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0434\u043b\u044f 0.1% \u0431\u0435\u043b\u043a\u043e\u0432 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0443\u0436\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d.<\/p>\n<p>\u0415\u0441\u043b\u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u043d\u0430\u0448\u043b\u0430\u0441\u044c, \u0442\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0435\u0435 AF2 \u0441\u0442\u0440\u043e\u0438\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 &#8212; \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 i-\u043e\u0439 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u044b \u0441 j-\u043e\u0439. \u0415\u0441\u043b\u0438 3D-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0435 \u043d\u0430\u0448\u043b\u043e\u0441\u044c, \u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 AF2 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 <a href=\"https:\/\/datascience.stackexchange.com\/questions\/53995\/what-does-embedding-mean-in-machine-learning\" rel=\"noopener noreferrer nofollow\">\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/a>\u00a0\u0438\u0437 \u0430\u043c\u0438\u043d\u043e\u043a\u0438\u0441\u043b\u043e\u0442\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0432<\/p>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-326837","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/326837","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=326837"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/326837\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=326837"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=326837"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=326837"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}