{"id":365252,"date":"2024-05-21T02:34:09","date_gmt":"2024-05-21T02:34:09","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=365252"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=365252","title":{"rendered":"<span>Mamba. \u041e\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e \u043a\u043e\u043d\u0446\u0430<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dce\/2e6\/76d\/dce2e676d1d9685e2449cde116653a89.png\" alt=\"\u0412\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u043f\u043e\u0432\u0441\u0435\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u043e\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0436\u0438\u0440\u0430\u043b\u0438 \u0432 \u0441\u0435\u0431\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u044b\u0445 \u0447\u0438\u043f\u043e\u0432; \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0443\u0436\u043d\u043e \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0435 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0432 \u044d\u0442\u0443 \u0445\u043e\u043b\u043e\u0434\u043d\u0443\u044e \u0437\u0438\u043c\u043d\u044e\u044e \u043f\u043e\u0440\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043e\u043d\u0430 -\u00a0\u041c\u0430\u043c\u0431\u0430.  \" title=\"\u0412\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u043f\u043e\u0432\u0441\u0435\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u043e\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0436\u0438\u0440\u0430\u043b\u0438 \u0432 \u0441\u0435\u0431\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u044b\u0445 \u0447\u0438\u043f\u043e\u0432; \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0443\u0436\u043d\u043e \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0435 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0432 \u044d\u0442\u0443 \u0445\u043e\u043b\u043e\u0434\u043d\u0443\u044e \u0437\u0438\u043c\u043d\u044e\u044e \u043f\u043e\u0440\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043e\u043d\u0430 -\u00a0\u041c\u0430\u043c\u0431\u0430.  \" width=\"768\" height=\"512\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dce\/2e6\/76d\/dce2e676d1d9685e2449cde116653a89.png\"\/><\/p>\n<div><figcaption><em>\u0412\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u043f\u043e\u0432\u0441\u0435\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u043e\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0436\u0438\u0440\u0430\u043b\u0438 \u0432 \u0441\u0435\u0431\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u044b\u0445 \u0447\u0438\u043f\u043e\u0432; \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0443\u0436\u043d\u043e \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0435 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0432 \u044d\u0442\u0443 \u0445\u043e\u043b\u043e\u0434\u043d\u0443\u044e \u0437\u0438\u043c\u043d\u044e\u044e \u043f\u043e\u0440\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043e\u043d\u0430 &#8212;\u00a0<\/em><strong><em>\u041c\u0430\u043c\u0431\u0430<\/em><\/strong><em>.<\/em>  <\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0444\u0443\u0440\u043e\u0440 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 Deep Learning \u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u0432\u044b\u0434\u0430\u044e\u0449\u0443\u044e\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u0443 \u043d\u0438\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430) \u0438\u0437-\u0437\u0430 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439  \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0434\u043b\u0438\u043d\u043e\u0439 \u043c\u0435\u043d\u0435\u0435 10 000, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u0445 \u043c\u0430\u043b\u043e\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b\u043c\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043e\u0431\u044a\u0435\u043c\u0430\u043c\u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0418 \u0445\u043e\u0442\u044f \u0445\u043e\u0434\u0438\u043b\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u0443\u0445\u0438, \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u0442\u0440\u0430\u043d\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430 \u043f\u0430\u0440\u0443 \u043c\u0438\u043d\u0443\u0442 \u0437\u0430\u0431\u043e\u043b\u0442\u0430\u0442\u044c \u0434\u043e \u0431\u0435\u0441\u043f\u0430\u043c\u044f\u0442\u0441\u0442\u0432\u0430.  <\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"center\">\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u0414\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 L<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\">\u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440<\/p>\n<\/td>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"center\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L^2\" alt=\"L^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8bb\/b5f\/79c\/8bbb5f79c4778cde5bd67d1f3f18c7b5.svg\" width=\"22\" height=\"21\"\/><\/p>\n<\/td>\n<td>\n<p align=\"center\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sim 10^3\" alt=\"\\sim 10^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b09\/86c\/8e5\/b0986c8e5ea7bbd1d423d0b125635a75.svg\" width=\"48\" height=\"21\"\/><\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/290\/308\/c40\/290308c409f02847282cbb3fa7ab82e9.svg\" width=\"11\" height=\"12\"\/><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041c\u0430\u043c\u0431\u0430<\/p>\n<\/td>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"center\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/990\/7b3\/d56\/9907b3d5602d93d85013739474b42fc4.svg\" width=\"13\" height=\"17\"\/><\/p>\n<\/td>\n<td>\n<p align=\"center\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sim 10^6\" alt=\"\\sim 10^6\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a8\/7ce\/7a8\/8a87ce7a83cb397a3986f51eb922e8d1.svg\" width=\"48\" height=\"21\"\/><\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"5x\" alt=\"5x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4de\/276\/e8d\/4de276e8d1cc29d5502f8ebe9ea06ac3.svg\" width=\"21\" height=\"16\"\/><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u0430\u043c\u0431\u0430 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 &#8212; <abbr class=\"habraabbr\" title=\"State space model \u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439\" data-title=\"&lt;p>State space model&amp;nbsp;&lt;\/p>&lt;p>\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439&lt;\/p>&#187; data-abbr=&#187;SSM &#171;>SSM<\/abbr>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u0445\u043e\u0442\u044c \u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0440\u0448\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041c\u0430\u043c\u0431\u0430 \u0438\u043c\u0435\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432 5 \u0440\u0430\u0437 \u0432\u044b\u0448\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u0447\u0435\u043c \u0443 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u0442\u0438\u0449\u0435 \u043d\u0430 \u0441\u0435\u0440\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u043e\u043b\u044c\u043a\u043e <strong>\u0434\u043e 2.8 \u043c\u043b\u0440\u0434.<\/strong> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0435\u0449\u0435 \u043c\u0430\u043b\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 <strong>Chatgpt<\/strong>, \u043d\u043e \u0443\u0436\u0435 \u0443\u0442\u0435\u0440\u043b\u0438 \u043d\u043e\u0441 \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u0442\u043e\u043f\u0430\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0441\u043e\u0432\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438. \u0414\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043a\u0430\u043a \u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0442\u0430\u043a \u0447\u0442\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0432 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0431\u044b\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u0441\u0442\u0430\u0445, \u0447\u0442\u043e, \u043e\u0434\u043d\u0430\u043a\u043e, \u0442\u043e\u0436\u0435 \u043d\u0435\u043c\u0430\u043b\u043e\u0432\u0430\u0436\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b, \u043d\u0438 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0441 \u044d\u0442\u0438\u043c\u0438 \u0442\u0435\u0441\u0442\u0430\u043c\u0438 \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0438\u0441\u044c. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0441\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u043d\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u0437\u0430\u043c\u0435\u0442\u0430\u044f \u043f\u043e\u0434 \u043a\u043e\u0432\u0435\u0440 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438.  <\/p>\n<h2>\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 (SSM)<\/h2>\n<h3>\u041d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439<\/h3>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0432\u0441\u044f \u0438\u0434\u0435\u044f, \u0432 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{array}{lcl} \\boldsymbol{\\dot h}(t) = \\boldsymbol{Ah}(t)+\\boldsymbol{Bx}(t)\\\\ \\boldsymbol{y}(t) = \\boldsymbol{Ch}(t)+\\boldsymbol{Dx}(t) \\end{array}\" alt=\"\\begin{array}{lcl} \\boldsymbol{\\dot h}(t) = \\boldsymbol{Ah}(t)+\\boldsymbol{Bx}(t)\\\\ \\boldsymbol{y}(t) = \\boldsymbol{Ch}(t)+\\boldsymbol{Dx}(t) \\end{array}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dbe\/05e\/583\/dbe05e583437974aac5d584e2f14c6f3.svg\" width=\"193\" height=\"54\"\/><\/p>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca5\/a7a\/035\/ca5a7a035d37eb7578b079f7bdd267c5.svg\" width=\"17\" height=\"17\"\/>-\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3bf\/1fa\/b8d\/3bf1fab8dd8be8cf4516fb96f49c0a03.svg\" width=\"17\" height=\"17\"\/> \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0432 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h}(t)\" alt=\"\\boldsymbol{h}(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d96\/468\/719\/d964687190ae2847e46e027130e79cec.svg\" width=\"35\" height=\"22\"\/> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043f\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u044e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u0442 0 \u0434\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N-1\" alt=\"N-1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/327\/09f\/517\/32709f5174e9b913ecde5bff9bc76f51.svg\" width=\"50\" height=\"18\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(t)\" alt=\"x(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/051\/a73\/f63\/051a73f63b1793ca2bd63431a2b7fe3b.svg\" width=\"33\" height=\"22\"\/> &#8212; \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y(t)\" alt=\"y(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e92\/9fa\/73b\/e929fa73b864ac934b4d1f0cbec7e72a.svg\" width=\"32\" height=\"22\"\/> &#8212; \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6a\/573\/f63\/d6a573f634d261de51c19049641f13e3.svg\" width=\"17\" height=\"17\"\/>. <\/p>\n<p>\u041f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u0430\u043a &#8212; \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(t)\" alt=\"x(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e0b\/338\/0e2\/e0b3380e2ba88e53a9a29d8098596177.svg\" width=\"33\" height=\"22\"\/> \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0432       <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e58\/0cc\/214\/e580cc214e2b619cc134522d4831fb94.svg\" width=\"17\" height=\"17\"\/>&#8212; \u043c\u0435\u0440\u043d\u043e\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h}(t)\" alt=\"\\boldsymbol{h}(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49d\/612\/089\/49d612089c797dab17150340867c7b4c.svg\" width=\"35\" height=\"22\"\/>, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y(t)\" alt=\"y(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7a\/2f4\/d6d\/e7a2f4d6da4dc5b90c6fde00c0ed209f.svg\" width=\"32\" height=\"22\"\/>.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043d\u0443\u0436\u043d\u043e \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0435.<\/p>\n<h3>\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044f <\/h3>\n<p>\u0412\u0442\u043e\u0440\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{y_k} = \\boldsymbol{y}(k\\Delta) \\rightarrow \\boldsymbol{y_k} = \\boldsymbol{Ch_k}+\\boldsymbol{Dx_k}\" alt=\"\\boldsymbol{y_k} = \\boldsymbol{y}(k\\Delta) \\rightarrow \\boldsymbol{y_k} = \\boldsymbol{Ch_k}+\\boldsymbol{Dx_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ca\/b7b\/f5d\/4cab7bf5d2b989586faf53d54f52f751.svg\" width=\"281\" height=\"22\"\/>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e:<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u0432 \u043e\u0431\u0449\u0435\u043c \u0432\u0438\u0434\u0435<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0423\u043c\u043d\u043e\u0436\u0438\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e^{-\\boldsymbol{A}t}\" alt=\"e^{-\\boldsymbol{A}t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/285\/c5d\/f5b\/285c5df5bf3f231537bf6791749f49f9.svg\" width=\"38\" height=\"21\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"e^{-\\boldsymbol{A}t} \\boldsymbol{\\dot h}(t) - e^{-\\boldsymbol{A}t} \\boldsymbol{Ah}(t) = e^{-\\boldsymbol{A}t} \\boldsymbol{Bx}(t)\\\\ \\frac{d}{dt} (e^{-\\boldsymbol{A}t} \\boldsymbol{h}(t)) = e^{-\\boldsymbol{A}t} \\boldsymbol{Bx}(t)\" alt=\"e^{-\\boldsymbol{A}t} \\boldsymbol{\\dot h}(t) - e^{-\\boldsymbol{A}t} \\boldsymbol{Ah}(t) = e^{-\\boldsymbol{A}t} \\boldsymbol{Bx}(t)\\\\ \\frac{d}{dt} (e^{-\\boldsymbol{A}t} \\boldsymbol{h}(t)) = e^{-\\boldsymbol{A}t} \\boldsymbol{Bx}(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/417\/0a0\/b70\/4170a0b70d9ce829d44adadc50bd13b1.svg\" width=\"697\" height=\"75\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043e\u0431\u0449\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u0442:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{h}(t) = e^{\\boldsymbol{A}t} \\boldsymbol{h}(0) + \\int_0^t{e^{\\boldsymbol{A}(t-\\tau)}} \\boldsymbol{Bx}(\\tau) d\\tau\" alt=\"\\boldsymbol{h}(t) = e^{\\boldsymbol{A}t} \\boldsymbol{h}(0) + \\int_0^t{e^{\\boldsymbol{A}(t-\\tau)}} \\boldsymbol{Bx}(\\tau) d\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e57\/8f1\/a25\/e578f1a250bc9864f72b43b8f8fe2208.svg\" width=\"310\" height=\"50\"\/><\/p>\n<p>\u0428\u0430\u0433 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta \\Rightarrow \\boldsymbol{x_k} = \\boldsymbol{x}(k \\Delta), \\boldsymbol{h_k} = \\boldsymbol{h}(k \\Delta)\" alt=\"\\Delta \\Rightarrow \\boldsymbol{x_k} = \\boldsymbol{x}(k \\Delta), \\boldsymbol{h_k} = \\boldsymbol{h}(k \\Delta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f9\/981\/f54\/1f9981f54eea119a6e9f55e63f1d7b1f.svg\" width=\"260\" height=\"22\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{h_k} = e^{\\boldsymbol{A}k\\Delta} \\boldsymbol{h}(0) + \\int_0^{k\\Delta}{e^{\\boldsymbol{A}(k\\Delta-\\tau)}} \\boldsymbol{Bx}(\\tau) d\\tau \" alt=\"\\boldsymbol{h_k} = e^{\\boldsymbol{A}k\\Delta} \\boldsymbol{h}(0) + \\int_0^{k\\Delta}{e^{\\boldsymbol{A}(k\\Delta-\\tau)}} \\boldsymbol{Bx}(\\tau) d\\tau \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7f\/8df\/c83\/c7f8dfc834ae6b31670995a145186fdb.svg\" width=\"339\" height=\"51\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{h_{k+1}} = e^{\\boldsymbol{A}\\Delta}  \\left[ e^{\\boldsymbol{A}k\\Delta} \\boldsymbol{h}(0)+ \\int_0^{k\\Delta}{e^{\\boldsymbol{A}(k\\Delta-\\tau)}} \\boldsymbol{Bx}(\\tau) d\\tau\\right] + \\int_{k\\Delta}^{(k+1)\\Delta} e^{\\boldsymbol{A}\\left[(k+1)\\Delta-\\tau\\right]} \\boldsymbol{Bx}(\\tau) d\\tau =\" alt=\"\\boldsymbol{h_{k+1}} = e^{\\boldsymbol{A}\\Delta}  \\left[ e^{\\boldsymbol{A}k\\Delta} \\boldsymbol{h}(0)+ \\int_0^{k\\Delta}{e^{\\boldsymbol{A}(k\\Delta-\\tau)}} \\boldsymbol{Bx}(\\tau) d\\tau\\right] + \\int_{k\\Delta}^{(k+1)\\Delta} e^{\\boldsymbol{A}\\left[(k+1)\\Delta-\\tau\\right]} \\boldsymbol{Bx}(\\tau) d\\tau =\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/35d\/f88\/a4a\/35df88a4a52d3fdedec4504a1ac75019.svg\" width=\"704\" height=\"61\"\/><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h_k}\" alt=\"\\boldsymbol{h_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1d\/62f\/725\/c1d62f7252b9dd47f34709c91be6144d.svg\" width=\"23\" height=\"20\"\/>\u00a0\u0438 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c, \u0447\u0442\u043e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{x}=const\" alt=\"\\boldsymbol{x}=const\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8e3\/3b8\/be4\/8e33b8be4836be558ece5005c01df5b9.svg\" width=\"84\" height=\"16\"\/>\u00a0\u0432\u043d\u0443\u0442\u0440\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0394:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"= e^{\\boldsymbol{A}\\Delta} \\boldsymbol{h_k} + \\left[ \\int_0^{\\Delta} e^{\\boldsymbol{A}\\nu} d\\nu \\right] \\boldsymbol{Bx_k} =  e^{\\boldsymbol{A}\\Delta} \\boldsymbol{h_k} + \\frac{1}{\\boldsymbol{A}} (e^{\\boldsymbol{A}\\Delta}-\\boldsymbol{I})\\boldsymbol{Bx_k}\" alt=\"= e^{\\boldsymbol{A}\\Delta} \\boldsymbol{h_k} + \\left[ \\int_0^{\\Delta} e^{\\boldsymbol{A}\\nu} d\\nu \\right] \\boldsymbol{Bx_k} =  e^{\\boldsymbol{A}\\Delta} \\boldsymbol{h_k} + \\frac{1}{\\boldsymbol{A}} (e^{\\boldsymbol{A}\\Delta}-\\boldsymbol{I})\\boldsymbol{Bx_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a3c\/438\/ad1\/a3c438ad1a63df883d9f9cec6001c656.svg\" width=\"507\" height=\"61\"\/><\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u043f\u0438\u0448\u0435\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0432\u0438\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta \\Rightarrow \\boldsymbol{x_k} = \\boldsymbol{x}(k \\Delta), \\boldsymbol{h_k} = \\boldsymbol{h}(k \\Delta)\" alt=\"\\Delta \\Rightarrow \\boldsymbol{x_k} = \\boldsymbol{x}(k \\Delta), \\boldsymbol{h_k} = \\boldsymbol{h}(k \\Delta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebc\/22a\/abd\/ebc22aabdffe4722f9e4fbde771e594a.svg\" width=\"260\" height=\"22\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\dfrac{\\boldsymbol{h_{k+1}}-\\boldsymbol{h_k}}{\\Delta} = \\boldsymbol{Ah_k}+\\boldsymbol{Bx_k}\\\\[3ex] \\boldsymbol{h_{k+1}} = (\\boldsymbol{I}+\\boldsymbol{A}\\Delta )\\boldsymbol{h_k}+\\Delta\\boldsymbol{Bx_k}\" alt=\"\\dfrac{\\boldsymbol{h_{k+1}}-\\boldsymbol{h_k}}{\\Delta} = \\boldsymbol{Ah_k}+\\boldsymbol{Bx_k}\\\\[3ex] \\boldsymbol{h_{k+1}} = (\\boldsymbol{I}+\\boldsymbol{A}\\Delta )\\boldsymbol{h_k}+\\Delta\\boldsymbol{Bx_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/389\/45c\/009\/38945c009764d208c697f587e129af1c.svg\" width=\"697\" height=\"83\"\/><\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e^{\\boldsymbol{A}\\Delta } \\approx \\boldsymbol{I} +  \\boldsymbol{A}\\Delta \" alt=\"e^{\\boldsymbol{A}\\Delta } \\approx \\boldsymbol{I} +  \\boldsymbol{A}\\Delta \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc7\/29d\/5d5\/bc729d5d5ae633b67579778cdeff6861.svg\" width=\"127\" height=\"22\"\/> \u0438\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\dfrac{1}{\\boldsymbol{A}}(e^{\\boldsymbol{A}\\Delta }-\\boldsymbol{I}) \\approx \\Delta\" alt=\"\\dfrac{1}{\\boldsymbol{A}}(e^{\\boldsymbol{A}\\Delta }-\\boldsymbol{I}) \\approx \\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/45a\/fbb\/d96\/45afbbd96acf49cd78dc99700ac6fd6f.svg\" width=\"149\" height=\"42\"\/>, \u0442\u043e\u0433\u0434\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{h_{k+1} = }e^{\\boldsymbol{A}\\Delta} \\boldsymbol{h_k} + \\frac{1}{\\boldsymbol{A}} (e^{\\boldsymbol{A}\\Delta}-\\boldsymbol{I})\\boldsymbol{Bx_k}\" alt=\"\\boldsymbol{h_{k+1} = }e^{\\boldsymbol{A}\\Delta} \\boldsymbol{h_k} + \\frac{1}{\\boldsymbol{A}} (e^{\\boldsymbol{A}\\Delta}-\\boldsymbol{I})\\boldsymbol{Bx_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0a0\/161\/005\/0a0161005359226f202bbd77d12ec5a7.svg\" width=\"299\" height=\"42\"\/><\/p>\n<\/div>\n<\/details>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u0443\u044e SSM \u043c\u043e\u0434\u0435\u043b\u044c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{array}{lcl} \\boldsymbol{h_k} = \\overline{\\boldsymbol{A}} \\boldsymbol{h_{k-1}} + \\overline{\\boldsymbol{B}} \\boldsymbol{x_k}\\\\  \\boldsymbol{y_k} = \\boldsymbol{C h_k} + \\boldsymbol{D} \\boldsymbol{x_k}\\\\  \\\\ \\boldsymbol{\\overline{A}} = e^{\\boldsymbol{A}\\Delta}\\\\ \\boldsymbol{\\overline{B}} = \\frac{1}{\\boldsymbol{A}} (e^{\\boldsymbol{A}\\Delta}-\\boldsymbol{I})\\boldsymbol{B} \\approx \\Delta \\boldsymbol{B} \\end{array}\" alt=\"\\begin{array}{lcl} \\boldsymbol{h_k} = \\overline{\\boldsymbol{A}} \\boldsymbol{h_{k-1}} + \\overline{\\boldsymbol{B}} \\boldsymbol{x_k}\\\\  \\boldsymbol{y_k} = \\boldsymbol{C h_k} + \\boldsymbol{D} \\boldsymbol{x_k}\\\\  \\\\ \\boldsymbol{\\overline{A}} = e^{\\boldsymbol{A}\\Delta}\\\\ \\boldsymbol{\\overline{B}} = \\frac{1}{\\boldsymbol{A}} (e^{\\boldsymbol{A}\\Delta}-\\boldsymbol{I})\\boldsymbol{B} \\approx \\Delta \\boldsymbol{B} \\end{array}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/761\/fb8\/e5e\/761fb8e5e169e2e4cdfa6200958ebe63.svg\" width=\"227\" height=\"149\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{\\overline{B}}\" alt=\"\\boldsymbol{\\overline{B}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/222\/7d1\/236\/2227d1236bab214e6db1975f25b6d2bf.svg\" width=\"18\" height=\"23\"\/>\u00a0\u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u0430\u0447\u043d\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0433\u0430\u044e\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u044d\u0442\u043e\u0433\u043e, \u043d\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0433\u043e, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{x_k}\" alt=\"\\boldsymbol{x_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9fd\/4e4\/ff9\/9fd4e4ff955947e4e069adcaf97b18c5.svg\" width=\"23\" height=\"15\"\/>&#8212; \u0432\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438,\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{y_k}\" alt=\"\\boldsymbol{y_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39d\/454\/235\/39d45423561729d56d61299effe295cb.svg\" width=\"22\" height=\"15\"\/>&#8212; \u0432\u044b\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438,\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h_k}\" alt=\"\\boldsymbol{h_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1c\/bb1\/587\/f1cbb15876989fd7135afab6bce53945.svg\" width=\"23\" height=\"20\"\/>&#8212; \u0441\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438,         \u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{\\overline{A}}\" alt=\"\\boldsymbol{\\overline{A}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/171\/c66\/fc8\/171c66fc840d1f40a754d1f7ccd4e80b.svg\" width=\"18\" height=\"24\"\/>\u00a0&#8212; \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0438\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0442\u043e, \u043a\u0430\u043a \u043c\u044b \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u044c \u0441 \u0442\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 &#8212; \u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f,\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{\\overline{B}}\" alt=\"\\boldsymbol{\\overline{B}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdd\/492\/c32\/cdd492c320859f5f22b07eb13c3496e6.svg\" width=\"18\" height=\"23\"\/>\u00a0&#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0445\u043e\u0434\u0430,\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{\\overline{C}}\" alt=\"\\boldsymbol{\\overline{C}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/777\/596\/f3f\/777596f3f4ffdee49ab392182f874cab.svg\" width=\"18\" height=\"24\"\/>\u00a0&#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0430,\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{\\overline{D}}\" alt=\"\\boldsymbol{\\overline{D}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3dd\/710\/d79\/3dd710d7978efcb301a9fad94a6b0a6c.svg\" width=\"19\" height=\"23\"\/>\u00a0&#8212; \u0441\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430\u00a0<strong>skip connection<\/strong>\u00a0\u0438\u043b\u0438 skip \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440,\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta\" alt=\"\\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d4\/365\/f9d\/7d4365f9de6d85ff52c7c46b1e6c8eb4.svg\" width=\"16\" height=\"17\"\/>\u00a0&#8212; \u0448\u0430\u0433 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0412 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u043c\u0435\u0435\u043c \u0442\u0430\u043a\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{\\overline{A}} (N, N), \\; \\boldsymbol{\\overline{B}} (N, 1), \\; \\boldsymbol{\\overline{C}} (1, N), \\; \\boldsymbol{\\overline{D}} (1, 1), \\; \\boldsymbol{x_k} (1, 1), \\; \\boldsymbol{y_k} (1, 1), \\; \\boldsymbol{h_k}(N, 1), \\; \\Delta = const\" alt=\"\\boldsymbol{\\overline{A}} (N, N), \\; \\boldsymbol{\\overline{B}} (N, 1), \\; \\boldsymbol{\\overline{C}} (1, N), \\; \\boldsymbol{\\overline{D}} (1, 1), \\; \\boldsymbol{x_k} (1, 1), \\; \\boldsymbol{y_k} (1, 1), \\; \\boldsymbol{h_k}(N, 1), \\; \\Delta = const\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/526\/7c2\/b18\/5267c2b185f58bd2ff90a55880a66fa3.svg\" width=\"662\" height=\"28\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443, \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0432 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0441\u0438\u043b\u0443 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439. \u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044e \u043f\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 SSM \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u00a0<a href=\"https:\/\/srush.github.io\/annotated-s4\/\" rel=\"noopener noreferrer nofollow\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>.<\/p>\n<h2>\u0421\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f SSM<\/h2>\n<p>\u041e\u0442\u043b\u0438\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u041c\u0430\u043c\u0431\u044b \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 SSM \u0432 \u044d\u0442\u043e\u0439 \u0432\u0435\u0442\u043a\u0435 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438. \u0418\u043d\u0430\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u0432 \u0441\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h_k}\" alt=\"\\boldsymbol{h_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50e\/40f\/a15\/50e40fa1589594984dba851a9c654059.svg\" width=\"23\" height=\"20\"\/> \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0438\u0437 \u0432\u0441\u0435\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h_i} [i \\lt k]\" alt=\"\\boldsymbol{h_i} [i \\lt k]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/027\/f98\/269\/027f982694154fbce5807d3e3c457963.svg\" width=\"73\" height=\"22\"\/>, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0441\u0435\u0438\u0432\u0430\u043b\u0438\u0441\u044c.<\/p>\n<h3>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b7\/d4f\/0b4\/0b7d4f0b4a0b021f2ccb8fa1c759609e.svg\" width=\"17\" height=\"17\"\/> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b34\/947\/36c\/b3494736ccadfce27d6fdc15f03fee78.svg\" width=\"13\" height=\"17\"\/> &#8212; \u0434\u043b\u0438\u043d\u0430 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c8\/1d9\/c4c\/4c81d9c4c8fa449b4e67392a906fec8d.svg\" width=\"8\" height=\"17\"\/> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/248\/932\/45b\/24893245b75c5423d9f3a1443e0927bc.svg\" width=\"10\" height=\"17\"\/> &#8212; \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E=2\" alt=\"E=2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd6\/0c8\/c0e\/cd60c8c0e94f071386d8b18c065ff1e6.svg\" width=\"50\" height=\"17\"\/> &#8212; \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d_{in} = Ed\" alt=\"d_{in} = Ed\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c42\/23e\/7db\/c4223e7db9039ab3a2b7c3968f6b26f1.svg\" width=\"75\" height=\"20\"\/> &#8212; \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Mamba \u0431\u043b\u043e\u043a\u0435<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"A,B,C,D\" alt=\"A,B,C,D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/911\/f6f\/38f\/911f6f38fc08221647c504821256de28.svg\" width=\"85\" height=\"20\"\/> &#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b SSM<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta\" alt=\"\\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/592\/993\/b8f\/592993b8f4939469fe39c05edd68f57a.svg\" width=\"16\" height=\"17\"\/> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0448\u0430\u0433\u0430 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta_R = \\frac{d}{16}\" alt=\"\\Delta_R = \\frac{d}{16}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/940\/d8d\/e1a\/940d8de1a367d798339d1af7f1f2d541.svg\" width=\"80\" height=\"43\"\/> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438<\/p>\n<h3>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>\u0418\u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u0430\u043a\u0446\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0445 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0442\u0440\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043e\u0442 \u0432\u0445\u043e\u0434\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{B} = \\boldsymbol{xW_B}, \\; \\boldsymbol{C} = \\boldsymbol{xW_C}, \\; \\Delta = Softplus[\\boldsymbol{xW_{\\Delta1} W_{\\Delta2}}+\\Delta_{bias}]\" alt=\"\\boldsymbol{B} = \\boldsymbol{xW_B}, \\; \\boldsymbol{C} = \\boldsymbol{xW_C}, \\; \\Delta = Softplus[\\boldsymbol{xW_{\\Delta1} W_{\\Delta2}}+\\Delta_{bias}]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec2\/8ad\/8c8\/ec28ad8c8b571183f4e2c72601152c6d.svg\" width=\"501\" height=\"22\"\/><\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta\" alt=\"\\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7d\/a47\/a22\/c7da47a22484c6ce74f90968cdca0bdc.svg\" width=\"16\" height=\"17\"\/> \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0431\u0430\u043b\u0430\u043d\u0441\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043b\u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0411\u043e\u043b\u044c\u0448\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta\" alt=\"\\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb6\/da1\/174\/eb6da11749b1656282516f4eb6cf6c70.svg\" width=\"16\" height=\"17\"\/> \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h_k}\" alt=\"\\boldsymbol{h_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/693\/4ed\/6b5\/6934ed6b5344fbbd9f88467f49769bb9.svg\" width=\"23\" height=\"20\"\/> \u0438 \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{x_k}\" alt=\"\\boldsymbol{x_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/734\/474\/9d2\/7344749d2ccdfff677ae4ba8112e0af8.svg\" width=\"23\" height=\"15\"\/>, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta\" alt=\"\\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c2d\/ce0\/125\/c2dce012536dc58e1f953ce8265fad76.svg\" width=\"16\" height=\"17\"\/> \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{B}\" alt=\"\\boldsymbol{B}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/90c\/f1f\/21d\/90cf1f21d062433e60d6ffb06cf14eb1.svg\" width=\"17\" height=\"17\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{C}\" alt=\"\\boldsymbol{C}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fca\/4a3\/773\/fca4a3773f89fdd5813cd141c509ebaa.svg\" width=\"16\" height=\"17\"\/> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u043d\u043a\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u0432\u043e\u0434\u0438\u0442\u044c \u043b\u0438 \u0432\u0445\u043e\u0434 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{x_k}\" alt=\"\\boldsymbol{x_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a2b\/b2b\/92f\/a2bb2b92fb841fcf078ae88f98338d9a.svg\" width=\"23\" height=\"15\"\/> \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h_k}\" alt=\"\\boldsymbol{h_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d6\/c58\/39b\/5d6c5839b6f6f1d8635480a041e3192e.svg\" width=\"23\" height=\"20\"\/> \u0438\u043b\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432 \u0432\u044b\u0445\u043e\u0434 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{y_k}\" alt=\"\\boldsymbol{y_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/58c\/03a\/d24\/58c03ad2484126bf8c6dc52bdca65911.svg\" width=\"22\" height=\"15\"\/>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{A}\" alt=\"\\boldsymbol{A}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f21\/355\/ef5\/f21355ef5d2ddf7f1e29e8e31d55488f.svg\" width=\"17\" height=\"17\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{D}\" alt=\"\\boldsymbol{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72e\/af1\/cdd\/72eaf1cddf44d60c143efef8ae858bf2.svg\" width=\"18\" height=\"17\"\/> \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043e\u0442 \u0432\u0445\u043e\u0434\u0430, \u043d\u043e \u0441\u0430\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438.<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{A}\" alt=\"\\boldsymbol{A}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dcb\/c29\/22f\/dcbc2922fec648aef8075d9363f29310.svg\" width=\"17\" height=\"17\"\/> \u0431\u0443\u0434\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{A_{log}}\" alt=\"\\boldsymbol{A_{log}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc2\/2a0\/760\/fc22a0760dd23d495e532e37d55bdf2c.svg\" width=\"39\" height=\"22\"\/>(<em>\u0441\u043c. <\/em><a href=\"https:\/\/arxiv.org\/pdf\/2206.11893.pdf\" rel=\"noopener noreferrer nofollow\"><em>S4D<\/em><\/a><em> \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e<\/em>):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{A} = -\\exp^{\\boldsymbol{A_{log}}}\" alt=\"\\boldsymbol{A} = -\\exp^{\\boldsymbol{A_{log}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/908\/01f\/61a\/90801f61a30f0b5bf3584cbe41c3298a.svg\" width=\"120\" height=\"24\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u0435\u0435 \u0432\u0441\u0435 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u044b \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u044b\u0435. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u043b\u044f \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{A_{log}}(d_{in}, N), \\boldsymbol{W_{B}}(d_{in}, N), \\boldsymbol{W_{C}}(d_{in}, N), \\boldsymbol{D}(d_{in}), \\boldsymbol{W_{\\Delta1}}(d_{in}, \\Delta_R), \\boldsymbol{W_{\\Delta2}}(\\Delta_R, d_{in}), \\Delta_{bias}(d_{in})\" alt=\"\\boldsymbol{A_{log}}(d_{in}, N), \\boldsymbol{W_{B}}(d_{in}, N), \\boldsymbol{W_{C}}(d_{in}, N), \\boldsymbol{D}(d_{in}), \\boldsymbol{W_{\\Delta1}}(d_{in}, \\Delta_R), \\boldsymbol{W_{\\Delta2}}(\\Delta_R, d_{in}), \\Delta_{bias}(d_{in})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec9\/306\/e83\/ec9306e83084ac563a24ad023d6c86c4.svg\" width=\"738\" height=\"23\"\/><\/p>\n<p>\u0412\u0432\u0435\u0434\u0435\u043c \u0441\u0440\u0430\u0437\u0443 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{W_{in}}(d, 2d_{in}), \\boldsymbol{W_{out}}(d_{in}, d), \\boldsymbol{W_{emb}}(vocab\\:size, d)=\\boldsymbol{W_{vocab}}^T, \\boldsymbol{W_{conv1d}}(d_{in}, 1, K)\" alt=\"\\boldsymbol{W_{in}}(d, 2d_{in}), \\boldsymbol{W_{out}}(d_{in}, d), \\boldsymbol{W_{emb}}(vocab\\:size, d)=\\boldsymbol{W_{vocab}}^T, \\boldsymbol{W_{conv1d}}(d_{in}, 1, K)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c4\/d69\/033\/0c4d69033e074c4c7c12ce8355a43e93.svg\" width=\"648\" height=\"25\"\/><\/p>\n<h3>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/h3>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{A_{log}} = \\ln\\begin{pmatrix}1 &amp; 2 &amp; 3 &amp; ... &amp; N\\\\1 &amp; 2 &amp; 3 &amp; ... &amp; N\\\\  &amp;   &amp;...\\end{pmatrix}, \\; \\boldsymbol{D} = \\overline{\\boldsymbol{1}}\" alt=\"\\boldsymbol{A_{log}} = \\ln\\begin{pmatrix}1 &amp; 2 &amp; 3 &amp; ... &amp; N\\\\1 &amp; 2 &amp; 3 &amp; ... &amp; N\\\\  &amp;   &amp;...\\end{pmatrix}, \\; \\boldsymbol{D} = \\overline{\\boldsymbol{1}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/43c\/535\/148\/43c5351485661c4f3a7ba3019454d1a9.svg\" width=\"349\" height=\"76\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\Delta_{bias} = Softplus^{-1}\\left[Uniform(10^{-3}, 10^{-1}) \\right]\" alt=\"\\Delta_{bias} = Softplus^{-1}\\left[Uniform(10^{-3}, 10^{-1}) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/238\/daf\/80e\/238daf80e74b8f8b02fae19d6c9e81d8.svg\" width=\"361\" height=\"27\"\/><\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{W_{conv1d}}\" alt=\"\\boldsymbol{W_{conv1d}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed3\/a7a\/879\/ed3a7a8795353bedefc311d17f9b1b69.svg\" width=\"72\" height=\"20\"\/> \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 <strong>conv1d<\/strong> \u0441\u043b\u043e\u044f \u0441 <strong>bias=True<\/strong>, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u0435\u0441\u0430 \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f <strong>Linear<\/strong> \u0441\u043b\u043e\u0435\u043c \u0441 <strong>bias=False<\/strong>.<\/p>\n<h3>\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 SSM \u0441 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u044b\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c<\/h3>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/80f\/0e9\/8c1\/80f0e98c1198c46909039f113d34be19.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Selective SSM \u0431\u043b\u043e\u043a\u0430 (Mamba).\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Selective SSM \u0431\u043b\u043e\u043a\u0430 (Mamba).\" width=\"2084\" height=\"654\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/80f\/0e9\/8c1\/80f0e98c1198c46909039f113d34be19.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Selective SSM \u0431\u043b\u043e\u043a\u0430 (<a href=\"https:\/\/arxiv.org\/abs\/2312.00752\" rel=\"noopener noreferrer nofollow\">Mamba<\/a>).<\/figcaption><\/div>\n<\/figure>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{x}(b, L, d_{in}), \\boldsymbol{h_t}(b, d_{in}, N) \\rightarrow \\boldsymbol{y}(b, L, d_{in})\" alt=\"\\boldsymbol{x}(b, L, d_{in}), \\boldsymbol{h_t}(b, d_{in}, N) \\rightarrow \\boldsymbol{y}(b, L, d_{in})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/033\/9b8\/398\/0339b839818215c7d61726cd2be8ef1c.svg\" width=\"322\" height=\"22\"\/><\/p>\n<p>\u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 selective SSM \u0431\u043b\u043e\u043a\u0430 \u043d\u0430 \u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430 &#8212; \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 (\u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0445 \u043c\u0430\u0441\u0441\u0438\u0432\u043e\u0432) \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 (\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439) \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b, \u0437\u0430\u0442\u0435\u043c \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0438 (\u0447\u0435\u0442\u044b\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0445 \u043c\u0430\u0441\u0441\u0438\u0432\u043e\u0432) \u0432 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b:<\/p>\n<h4>1) \u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 (GPU HBM):<\/h4>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{A}\" alt=\"\\boldsymbol{A}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4bd\/e82\/25f\/4bde8225f159c483dcceea4f74154506.svg\" width=\"17\" height=\"17\"\/> \u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0438\u0434 \u0438 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{array}{ccc}\\boldsymbol{A}(d_{in}, N) = -\\exp^{\\boldsymbol{A_{log}}}\\\\\\boldsymbol{B}(b, L, N) = \\boldsymbol{xW_B}\\\\\\boldsymbol{C}(b, L, N) = \\boldsymbol{xW_C}\\\\\\Delta(b, L, d_{in}) = Softplus[\\boldsymbol{xW_{\\Delta1} W_{\\Delta2}}+\\Delta_{bias}]\\end{array}\" alt=\"\\begin{array}{ccc}\\boldsymbol{A}(d_{in}, N) = -\\exp^{\\boldsymbol{A_{log}}}\\\\\\boldsymbol{B}(b, L, N) = \\boldsymbol{xW_B}\\\\\\boldsymbol{C}(b, L, N) = \\boldsymbol{xW_C}\\\\\\Delta(b, L, d_{in}) = Softplus[\\boldsymbol{xW_{\\Delta1} W_{\\Delta2}}+\\Delta_{bias}]\\end{array}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ef\/ffc\/5d9\/7efffc5d9e17543ec5278bc79510d5c6.svg\" width=\"378\" height=\"108\"\/><\/p>\n<h4>2) Selective scan (GPU SRAM):<\/h4>\n<p>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\boldsymbol{h_{-1}} = \\overline{\\boldsymbol{0}}\" alt=\"\\boldsymbol{h_{-1}} = \\overline{\\boldsymbol{0}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d0f\/06d\/b54\/d0f06db540c3cdce6780188f6e388133.svg\" width=\"73\" height=\"25\"\/><\/p>\n<p>\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{array}{ccc}\\boldsymbol{\\overline{A}}(b, L, d_{in}, N) = e^{\\Delta \\boldsymbol{A}}\\\\\\boldsymbol{\\overline{B}x}(b, L, d_{in}, N) = \\Delta \\boldsymbol{Bx}\\end{array}\" alt=\"\\begin{array}{ccc}\\boldsymbol{\\overline{A}}(b, L, d_{in}, N) = e^{\\Delta \\boldsymbol{A}}\\\\\\boldsymbol{\\overline{B}x}(b, L, d_{in}, N) = \\Delta \\boldsymbol{Bx}\\end{array}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db4\/934\/21a\/db493421a9abc3881196f7bae87bc651.svg\" width=\"212\" height=\"61\"\/><\/p>\n<p>\u0412 \u0446\u0438\u043a\u043b\u0435 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/637\/1f5\/02c\/6371f502cc390d4c9d131f71af250554.svg\" width=\"7\" height=\"16\"\/> \u0432\u0434\u043e\u043b\u044c \u043e\u0441\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/559\/6d1\/de1\/5596d1de1aa22a3abc497c2b44f0c815.svg\" width=\"13\" height=\"17\"\/> (\u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443) \u043f\u0435\u0440\u0435\u0441\u0447\u0435\u0442 \u0432\u0441\u0435\u0445 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{h}\" alt=\"\\boldsymbol{h}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e42\/f6f\/44a\/e42f6f44a65c414c7f603f018a74d77c.svg\" width=\"13\" height=\"17\"\/> \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0438\u043c \u0432\u044b\u0445\u043e\u0434\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{y}\" alt=\"\\boldsymbol{y}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/54f\/467\/1c0\/54f4671c020a1807de9414f2dcfb86fa.svg\" width=\"11\" height=\"15\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{array}{lcl}\\boldsymbol{h_t} = \\overline{\\boldsymbol{A_t}} \\boldsymbol{h_{t-1}} + \\boldsymbol{(\\overline{B} x)_t}\\\\ \\boldsymbol{y_t} = \\boldsymbol{C_t h_t} + \\boldsymbol{Dx_t}\\\\ \\end{array}\" alt=\"\\begin{array}{lcl}\\boldsymbol{h_t} = \\overline{\\boldsymbol{A_t}} \\boldsymbol{h_{t-1}} + \\boldsymbol{(\\overline{B} x)_t}\\\\ \\boldsymbol{y_t} = \\boldsymbol{C_t h_t} + \\boldsymbol{Dx_t}\\\\ \\end{array}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/994\/a9c\/f7b\/994a9cf7bac3abfe2b9d8df6a616ed7e.svg\" width=\"197\" height=\"55\"\/><\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Mamba<\/h3>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8da\/244\/0d7\/8da2440d76732eb5d8f82f3aa75c7611.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Mamba\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Mamba\" width=\"1680\" height=\"840\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8da\/244\/0d7\/8da2440d76732eb5d8f82f3aa75c7611.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Mamba<\/figcaption><\/div>\n<\/figure>\n<h3>Mamba<\/h3>\n<p>\u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u043e\u0439:<\/p>\n<ol>\n<li>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438\u043c\u0435\u0435\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u0438\u043d\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad3\/ff2\/6ef\/ad3ff26ef90af553a5550f6d0a84bfe2.svg\" width=\"13\" height=\"17\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u0437 \u0441\u0435\u0431\u044f \u0445\u043e\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0445\u043e\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0443\u0435\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u043e\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{W_{emb}}\" alt=\"\\boldsymbol{W_{emb}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97a\/77b\/f87\/97a77bf875e4127cbd2b36161102cff4.svg\" width=\"52\" height=\"20\"\/>, \u043f\u043e\u043b\u0443\u0447\u0430\u044f \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{x}(b, L, d)\" alt=\"\\boldsymbol{x}(b, L, d)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/611\/64b\/2d4\/61164b2d4192da3792dc2ea54bf5b02b.svg\" width=\"76\" height=\"22\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n_{layers}\" alt=\"n_{layers}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/962\/3a9\/923\/9623a9923a1aa977213ecfe8e27f15b6.svg\" width=\"50\" height=\"17\"\/> \u043c\u0430\u043c\u0431\u0430-\u0441\u043b\u043e\u0435\u0432, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(b, L, vocab\\;size)\" alt=\"(b, L, vocab\\;size)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88b\/ef4\/82e\/88bef482e170da8755f160301cf4225f.svg\" width=\"138\" height=\"22\"\/> \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u043c \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\boldsymbol{W_{vocab}=W_{emb}^T}\" alt=\"\\boldsymbol{W_{vocab}=W_{emb}^T}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0bd\/0e2\/748\/0bd0e27480dd20fb9961c42b80617425.svg\" width=\"141\" height=\"25\"\/> &#8212; \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439, \u0447\u0442\u043e \u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0418, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e.<\/p>\n<\/li>\n<\/ol>\n<h3>Mamba Layer<\/h3>\n<p>\u0421\u043b\u043e\u0439 \u041c\u0430\u043c\u0431\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f:<\/p>\n<ol>\n<li>\n<p>\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u043e \u0441\u043b\u043e\u044e<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u0430\u043c \u041c\u0430\u043c\u0431\u0430 \u0431\u043b\u043e\u043a<\/p>\n<\/li>\n<li>\n<p>Skip connection<\/p>\n<\/li>\n<\/ol>\n<h3>Mamba Block<\/h3>\n<p>\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0431\u043b\u043e\u043a\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 <strong>gated MLP<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u0438 \u0441 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c, \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0435\u0439 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c <strong>Element-wise<\/strong> \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0436\u0435\u0442 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u043e\u0442\u043e\u043a\u043e\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044f \u043a\u0430\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0430, \u0430 \u043a\u0430\u043a\u0430\u044f \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0430.<\/p>\n<p>\u041f\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0436\u0435 \u0432\u0435\u0442\u043a\u0435 \u0438\u0434\u0435\u0442, \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439, <strong>inverted bottleneck<\/strong>:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\boldsymbol{W_{in}}) \\rightarrow\" alt=\"(\\boldsymbol{W_{in}}) \\rightarrow\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c94\/cc9\/ab4\/c94cc9ab4090221a533c7bbe67528488.svg\" width=\"78\" height=\"22\"\/> <strong>depthwise convolution<\/strong> (\u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u0430\u044f) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\rightarrow\" alt=\"\\rightarrow\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30c\/e1f\/063\/30ce1f0636543b7988c85700b076a3f9.svg\" width=\"19\" height=\"13\"\/> \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\boldsymbol{W_{out}})\" alt=\"(\\boldsymbol{W_{out}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/afd\/89f\/596\/afd89f59690eb28fc76a72d8349e56b1.svg\" width=\"61\" height=\"22\"\/>,<\/p>\n<\/li>\n<\/ul>\n<p>\u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 &#8212; <strong>selective SSM<\/strong> \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430.<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u041c\u0430\u043c\u0431\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043e\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u043e\u0432\u044b\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u044b \u0434\u043b\u044f \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f. \u0421\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u041c\u0430\u043c\u0431\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0443\u0447\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0433\u0435\u043d\u043e\u043c\u0438\u043a\u0430, \u0430\u0443\u0434\u0438\u043e \u0438 \u0432\u0438\u0434\u0435\u043e, \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 \u0435\u0435 \u0441\u0440\u0435\u0434\u0438 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043e\u043a.<\/p>\n<p>\u0425\u043e\u0442\u044f \u0434\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0435\u043d \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0430\u0441\u043f\u0435\u043a\u0442\u0430\u0445 \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u041c\u0430\u043c\u0431\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043c\u043e\u0449\u043d\u044b\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u043c \u043d\u0430 \u0440\u043e\u043b\u044c \u043d\u043e\u0432\u043e\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u044d\u043a\u0431\u043e\u043d\u0430. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 LLM, \u0430\u0443\u0434\u0438\u043e \u0438 \u0433\u0435\u043d\u043e\u043c\u0438\u043a\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 (<a href=\"https:\/\/arxiv.org\/pdf\/2312.00752.pdf\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>). <\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043d\u0430\u043c 2024 \u0433\u043e\u0434\u0430!<\/p>\n<h2>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b<\/h2>\n<ul>\n<li>\n<p>\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 <a href=\"https:\/\/github.com\/state-spaces\/mamba\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 Mamba<\/a><\/p>\n<\/li>\n<li>\n<p>\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f <a href=\"https:\/\/github.com\/johnma2006\/mamba-minimal\/blob\/master\/model.py\" rel=\"noopener noreferrer nofollow\">\u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043d\u0430 pytorch \u043e\u0434\u043d\u0438\u043c \u0444\u0430\u0439\u043b\u043e\u043c<\/a> &#8212; \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0434\u043b\u044f \u0437\u0430\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/786278\/\"> https:\/\/habr.com\/ru\/articles\/786278\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption><em>\u0412\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u043f\u043e\u0432\u0441\u0435\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u043e\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0436\u0438\u0440\u0430\u043b\u0438 \u0432 \u0441\u0435\u0431\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u044b\u0445 \u0447\u0438\u043f\u043e\u0432; \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0443\u0436\u043d\u043e \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0435 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0432 \u044d\u0442\u0443 \u0445\u043e\u043b\u043e\u0434\u043d\u0443\u044e \u0437\u0438\u043c\u043d\u044e\u044e \u043f\u043e\u0440\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043e\u043d\u0430 &#8212;\u00a0<\/em><strong><em>\u041c\u0430\u043c\u0431\u0430<\/em><\/strong><em>.<\/em>  <\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0444\u0443\u0440\u043e\u0440 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 Deep Learning \u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u0432\u044b\u0434\u0430\u044e\u0449\u0443\u044e\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u0443 \u043d\u0438\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430) \u0438\u0437-\u0437\u0430 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439  \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0434\u043b\u0438\u043d\u043e\u0439 \u043c\u0435\u043d\u0435\u0435 10 000, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u0445 \u043c\u0430\u043b\u043e\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b\u043c\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043e\u0431\u044a\u0435\u043c\u0430\u043c\u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0418 \u0445\u043e\u0442\u044f \u0445\u043e\u0434\u0438\u043b\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u0443\u0445\u0438, \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u0442\u0440\u0430\u043d\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430 \u043f\u0430\u0440\u0443 \u043c\u0438\u043d\u0443\u0442 \u0437\u0430\u0431\u043e\u043b\u0442\u0430\u0442\u044c \u0434\u043e \u0431\u0435\u0441\u043f\u0430\u043c\u044f\u0442\u0441\u0442\u0432\u0430.  <\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"center\">\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u0414\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 L<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\">\u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440<\/p>\n<\/td>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"center\">\n<\/td>\n<td>\n<p align=\"center\">\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041c\u0430\u043c\u0431\u0430<\/p>\n<\/td>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"center\">\n<\/td>\n<td>\n<p align=\"center\">\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\">\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u0430\u043c\u0431\u0430 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 &#8212; <abbr class=\"habraabbr\" title=\"State space model \u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439\" data-title=\"&lt;p>\u043e\u044f\u043d\u0438\u0439&#187; data-title=&#187;&lt;p>State space model&amp;nbsp;&lt;\/p>&lt;p>\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439&lt;\/p>&#187; data-abbr=&#187;SSM &#171;>SSM<\/abbr>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u0445\u043e\u0442\u044c \u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0440\u0448\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041c\u0430\u043c\u0431\u0430 \u0438\u043c\u0435\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432 5 \u0440\u0430\u0437 \u0432\u044b\u0448\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u0447\u0435\u043c \u0443 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u0442\u0438\u0449\u0435 \u043d\u0430 \u0441\u0435\u0440\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u043e\u043b\u044c\u043a\u043e <strong>\u0434\u043e 2.8 \u043c\u043b\u0440\u0434.<\/strong> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0435\u0449\u0435 \u043c\u0430\u043b\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 <strong>Chatgpt<\/strong>, \u043d\u043e \u0443\u0436\u0435 \u0443\u0442\u0435\u0440\u043b\u0438 \u043d\u043e\u0441 \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u0442\u043e\u043f\u0430\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0441\u043e\u0432\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438. \u0414\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043a\u0430\u043a \u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0442\u0430\u043a \u0447\u0442\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0432 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0431\u044b\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u0441\u0442\u0430\u0445, \u0447\u0442\u043e, \u043e\u0434\u043d\u0430\u043a\u043e, \u0442\u043e\u0436\u0435 \u043d\u0435\u043c\u0430\u043b\u043e\u0432\u0430\u0436\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b, \u043d\u0438 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0441 \u044d\u0442\u0438\u043c\u0438 \u0442\u0435\u0441\u0442\u0430\u043c\u0438 \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0438\u0441\u044c. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0441\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u043d\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u0437\u0430\u043c\u0435\u0442\u0430\u044f \u043f\u043e\u0434 \u043a\u043e\u0432\u0435\u0440 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438.  <\/p>\n<h2>\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 (SSM)<\/h2>\n<h3>\u041d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439<\/h3>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0432\u0441\u044f \u0438\u0434\u0435\u044f, \u0432 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:  <\/p>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 -\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043a\u0430\u043a  \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0432 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u0433\u0434\u0435  &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043f\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u044e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u0442 0 \u0434\u043e ,  &#8212; \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b,  &#8212; \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u043e\u0442 . <\/p>\n<p>\u041f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u0430\u043a &#8212; \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b  \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0432       &#8212; \u043c\u0435\u0440\u043d\u043e\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 , \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b .<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043d\u0443\u0436\u043d\u043e \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0435.<\/p>\n<h3>\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044f <\/h3>\n<p>\u0412\u0442\u043e\u0440\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e: . \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e:<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u0432 \u043e\u0431\u0449\u0435\u043c \u0432\u0438\u0434\u0435<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0423\u043c\u043d\u043e\u0436\u0438\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 :<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043e\u0431\u0449\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u0442:  <\/p>\n<p>\u0428\u0430\u0433 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438 :<\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0\u00a0\u0438 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c, \u0447\u0442\u043e\u00a0\u00a0\u0432\u043d\u0443\u0442\u0440\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0394:<\/p>\n<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u043f\u0438\u0448\u0435\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0432\u0438\u0434\u0435 :<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438  \u0438\u043b\u0438 , \u0442\u043e\u0433\u0434\u0430:<\/p>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u0443\u044e SSM \u043c\u043e\u0434\u0435\u043b\u044c:<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0435\u00a0\u00a0\u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u0430\u0447\u043d\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0433\u0430\u044e\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u044d\u0442\u043e\u0433\u043e, \u043d\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0433\u043e, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439:<\/p>\n<p>&#8212; \u0432\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438,\u00a0&#8212; \u0432\u044b\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438,\u00a0&#8212; \u0441\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438,         \u00a0\u00a0&#8212; \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0438\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0442\u043e, \u043a\u0430\u043a \u043c\u044b \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u044c \u0441 \u0442\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 &#8212; \u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f,\u00a0\u00a0&#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0445\u043e\u0434\u0430,\u00a0\u00a0&#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0430,\u00a0\u00a0&#8212; \u0441\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430\u00a0<strong>skip connection<\/strong>\u00a0\u0438\u043b\u0438 skip \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440,\u00a0\u00a0&#8212; \u0448\u0430\u0433 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0412 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u043c\u0435\u0435\u043c \u0442\u0430\u043a\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438:<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443, \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0432 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0441\u0438\u043b\u0443 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439. \u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044e \u043f\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 SSM \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u00a0<a href=\"https:\/\/srush.github.io\/annotated-s4\/\" rel=\"noopener noreferrer nofollow\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>.<\/p>\n<h2>\u0421\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f SSM<\/h2>\n<p>\u041e\u0442\u043b\u0438\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u041c\u0430\u043c\u0431\u044b \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 SSM \u0432 \u044d\u0442\u043e\u0439 \u0432\u0435\u0442\u043a\u0435 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438. \u0418\u043d\u0430\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u0432 \u0441\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435  \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0438\u0437 \u0432\u0441\u0435\u0445 , \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0441\u0435\u0438\u0432\u0430\u043b\u0438\u0441\u044c.<\/p>\n<h3>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f<br \/>  &#8212; \u0434\u043b\u0438\u043d\u0430 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<br \/>  &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430<br \/>  &#8212; \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<br \/>  &#8212; \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f<br \/>  &#8212; \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Mamba \u0431\u043b\u043e\u043a\u0435<br \/>  &#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b SSM<br \/>  &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0448\u0430\u0433\u0430 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438<br \/>  &#8212; \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438<\/p>\n<h3>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>\u0418\u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u0430\u043a\u0446\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0445 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0442\u0440\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043e\u0442 \u0432\u0445\u043e\u0434\u0430:<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440  \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0431\u0430\u043b\u0430\u043d\u0441\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043b\u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0411\u043e\u043b\u044c\u0448\u043e\u0439  \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435  \u0438 \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434 , \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439  \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b  \u0438  \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u043d\u043a\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u0432\u043e\u0434\u0438\u0442\u044c \u043b\u0438 \u0432\u0445\u043e\u0434  \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435  \u0438\u043b\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432 \u0432\u044b\u0445\u043e\u0434 .<\/p>\n<p> \u0438  \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043e\u0442 \u0432\u0445\u043e\u0434\u0430, \u043d\u043e \u0441\u0430\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438. \u0431\u0443\u0434\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0435 (<em>\u0441\u043c. <\/em><a href=\"https:\/\/arxiv.org\/pdf\/2206.11893.pdf\" rel=\"noopener noreferrer nofollow\"><em>S4D<\/em><\/a><em> \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e<\/em>):<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u0435\u0435 \u0432\u0441\u0435 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u044b \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u044b\u0435. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u043b\u044f \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430:<\/p>\n<p>\u0412\u0432\u0435\u0434\u0435\u043c \u0441\u0440\u0430\u0437\u0443 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435:<\/p>\n<h3>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/h3>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443:<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440  \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 <strong>conv1d<\/strong> \u0441\u043b\u043e\u044f \u0441 <strong>bias=True<\/strong>, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u0435\u0441\u0430 \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f <strong>Linear<\/strong> \u0441\u043b\u043e\u0435\u043c \u0441 <strong>bias=False<\/strong>.<\/p>\n<h3>\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 SSM \u0441 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u044b\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c<\/h3>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Selective SSM \u0431\u043b\u043e\u043a\u0430 (<a href=\"https:\/\/arxiv.org\/abs\/2312.00752\" rel=\"noopener noreferrer nofollow\">Mamba<\/a>).<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 selective SSM \u0431\u043b\u043e\u043a\u0430 \u043d\u0430 \u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430 &#8212; \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 (\u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0445 \u043c\u0430\u0441\u0441\u0438\u0432\u043e\u0432) \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 (\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439) \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b, \u0437\u0430\u0442\u0435\u043c \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0438 (\u0447\u0435\u0442\u044b\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0445 \u043c\u0430\u0441\u0441\u0438\u0432\u043e\u0432) \u0432 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b:<\/p>\n<h4>1) \u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 (GPU HBM):<\/h4>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435  \u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0438\u0434 \u0438 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u0430:<\/p>\n<h4>2) Selective scan (GPU SRAM):<\/h4>\n<p>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f:<\/p>\n<p>\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044f:<\/p>\n<p>\u0412 \u0446\u0438\u043a\u043b\u0435 \u043f\u043e  \u0432\u0434\u043e\u043b\u044c \u043e\u0441\u0438  (\u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443) \u043f\u0435\u0440\u0435\u0441\u0447\u0435\u0442 \u0432\u0441\u0435\u0445 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439  \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0438\u043c \u0432\u044b\u0445\u043e\u0434\u043e\u0432 :<\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Mamba<\/h3>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2: \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Mamba<\/figcaption><\/div>\n<\/figure>\n<h3>Mamba<\/h3>\n<p>\u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u043e\u0439:<\/p>\n<ol>\n<li>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438\u043c\u0435\u0435\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u0438\u043d\u043e\u0439 , \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u0437 \u0441\u0435\u0431\u044f \u0445\u043e\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0445\u043e\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0443\u0435\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u043e\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 , \u043f\u043e\u043b\u0443\u0447\u0430\u044f \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 .<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437  \u043c\u0430\u043c\u0431\u0430-\u0441\u043b\u043e\u0435\u0432, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c  \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u043c \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u043d\u0430  &#8212; \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439, \u0447\u0442\u043e \u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0418, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e.<\/p>\n<\/li>\n<\/ol>\n<h3>Mamba Layer<\/h3>\n<p>\u0421\u043b\u043e\u0439 \u041c\u0430\u043c\u0431\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f:<\/p>\n<ol>\n<li>\n<p>\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u043e \u0441\u043b\u043e\u044e<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u0430\u043c \u041c\u0430\u043c\u0431\u0430 \u0431\u043b\u043e\u043a<\/p>\n<\/li>\n<li>\n<p>Skip connection<\/p>\n<\/li>\n<\/ol>\n<h3>Mamba Block<\/h3>\n<p>\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0431\u043b\u043e\u043a\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 <strong>gated MLP<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u0438 \u0441 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c, \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0435\u0439 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c <strong>Element-wise<\/strong> \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0436\u0435\u0442 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u043e\u0442\u043e\u043a\u043e\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044f \u043a\u0430\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0430, \u0430 \u043a\u0430\u043a\u0430\u044f \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0430.<\/p>\n<p>\u041f\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0436\u0435 \u0432\u0435\u0442\u043a\u0435 \u0438\u0434\u0435\u0442, \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439, <strong>inverted bottleneck<\/strong>:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435  <strong>depthwise convolution<\/strong> (\u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u0430\u044f)  \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f ,<\/p>\n<\/li>\n<\/ul>\n<p>\u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 &#8212; <strong>selective SSM<\/strong> \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430.<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u041c\u0430\u043c\u0431\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043e\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u043e\u0432\u044b\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u044b \u0434\u043b\u044f \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f. \u0421\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u041c\u0430\u043c\u0431\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0443\u0447\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0433\u0435\u043d\u043e\u043c\u0438\u043a\u0430, \u0430\u0443\u0434\u0438\u043e \u0438 \u0432\u0438\u0434\u0435\u043e, \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 \u0435\u0435 \u0441\u0440\u0435\u0434\u0438 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043e\u043a.<\/p>\n<p>\u0425\u043e\u0442\u044f \u0434\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0435\u043d \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0430\u0441\u043f\u0435\u043a\u0442\u0430\u0445 \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u041c\u0430\u043c\u0431\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043c\u043e\u0449\u043d\u044b\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u043c \u043d\u0430 \u0440\u043e\u043b\u044c \u043d\u043e\u0432\u043e\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u044d\u043a\u0431\u043e\u043d\u0430. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 LLM, \u0430\u0443\u0434\u0438\u043e \u0438 \u0433\u0435\u043d\u043e\u043c\u0438\u043a\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 (<a href=\"https:\/\/arxiv.org\/pdf\/2312.00752.pdf\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>). <\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043d\u0430\u043c 2024 \u0433\u043e\u0434\u0430!<\/p>\n<h2>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b<\/h2>\n<ul>\n<li>\n<p>\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 <a href=\"https:\/\/github.com\/state-spaces\/mamba\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 Mamba<\/a><\/p>\n<\/li>\n<li>\n<p>\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f <a href=\"https:\/\/github.com\/johnma2006\/mamba-minimal\/blob\/master\/model.py\" rel=\"noopener noreferrer nofollow\">\u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043d\u0430 pytorch \u043e\u0434\u043d\u0438\u043c \u0444\u0430\u0439\u043b\u043e\u043c<\/a> &#8212; \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0434\u043b\u044f \u0437\u0430\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/786278\/\"> https:\/\/habr.com\/ru\/articles\/786278\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-365252","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/365252","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=365252"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/365252\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=365252"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=365252"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=365252"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}