{"id":493258,"date":"2026-09-02T16:00:04","date_gmt":"2026-09-02T16:00:04","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=493258"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=493258","title":{"rendered":"\u041c\u0435\u043d\u044c\u0448\u0435 \u0448\u0443\u043c\u0430, \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043c\u044b\u0441\u043b\u0430: \u043e\u043f\u044b\u0442 SESAME \u0434\u043b\u044f Speech Enhancement"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d52\/00d\/401\/d5200d401813b113f4aee07db847809f.jpg\" width=\"1280\" height=\"720\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d52\/00d\/401\/d5200d401813b113f4aee07db847809f.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d52\/00d\/401\/d5200d401813b113f4aee07db847809f.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u2014 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0417\u0430\u0431\u0443\u0440\u0434\u0430\u0435\u0432, \u041a\u0441\u0435\u043d\u0438\u044f \u0417\u043e\u043b\u0438\u043d\u0430, \u0414\u0430\u043d\u0438\u0438\u043b \u041c\u0430\u0440\u0446\u0435\u043d\u044e\u043a, \u0418\u043b\u044c\u044f \u0422\u0440\u043e\u0444\u0438\u043c\u0435\u043d\u043a\u043e, \u0418\u043b\u044c\u044f \u041a\u0443\u043b\u0435\u0448\u043e\u0432 \u2014 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u044b \u043c\u0430\u0441\u0442\u0435\u0440\u0441\u043a\u043e\u0439 \u043f\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c \u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c \u0418\u0418 \u0432 \u0418\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e-\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0448\u043a\u043e\u043b\u0435 \u041d\u0418\u0423 \u0412\u0428\u042d \u0438 VK. \u0425\u043e\u0442\u0438\u043c \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043d\u0430\u043a\u043e\u043f\u0438\u043b\u0438, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u043a\u043e\u0440\u043c\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u0440\u0435\u0447\u0435\u0432\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0438 \u0434\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0442\u0438\u043f\u0430\u043c\u0438 \u0448\u0443\u043c\u0430.\u00a0<\/p>\n<p>\u0420\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0437\u0430\u0434\u0430\u0447\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0435\u0447\u0438 (Speech Enhancement, SE) \u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u0451 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0443\u044e \u0441\u043c\u0435\u0441\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (sparse Mixture of Experts, MoE). \u042d\u0442\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0443\u0436\u0435 \u0441\u0442\u0430\u043b\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c, \u0430 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0430\u0443\u0434\u0438\u043e \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u043f\u0440\u0438\u0436\u0438\u043b\u0430\u0441\u044c.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043c\u044b \u043d\u0430\u0437\u0432\u0430\u043b\u0438 SESAME \u2014 Speech Enhancement with Sparse Adaptive Mixture of Experts. \u041e\u043d\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 MP-SENet. \u0412 \u043d\u0435\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u043d\u0430 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0439 MoE-\u043c\u043e\u0434\u0443\u043b\u044c. \u041a\u043e\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043d\u0430 <a href=\"https:\/\/github.com\/nullpath-ml\/SESAME\">GitHub<\/a>.<\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u0430\u0441\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0448\u0443\u043c\u043e\u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0438\u0445 \u0438 \u0442\u0430\u043a \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u2014 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043d\u0438\u0436\u0435. \u0410 \u0437\u0430\u043e\u0434\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u043a\u0430\u043a\u0438\u0435 \u0442\u0440\u044e\u043a\u0438 \u0438\u0437 \u043c\u0438\u0440\u0430 LLM \u0432 \u0430\u0443\u0434\u0438\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Expert Choice) \u2014 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n<h2>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438<\/h2>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u0448\u0443\u043c\u043e\u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e: \u0435\u0441\u0442\u044c \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b <img decoding=\"async\" class=\"formula inline\" source=\"y\\left[n\\right]=s\\left[n\\right]+d\\left[n\\right]\" alt=\"y\\left[n\\right]=s\\left[n\\right]+d\\left[n\\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42a\/4ac\/1bb\/42a4ac1bbf58b033688add85e3462b8a.svg\" width=\"152\" height=\"19\" data-width=\"18.106\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 18.106ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42a\/4ac\/1bb\/42a4ac1bbf58b033688add85e3462b8a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42a\/4ac\/1bb\/42a4ac1bbf58b033688add85e3462b8a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"s\\left[n\\right]\" alt=\"s\\left[n\\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e1\/659\/aed\/5e1659aede0503e40ae12b3f42504db5.svg\" width=\"34\" height=\"19\" data-width=\"4.054\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.054ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e1\/659\/aed\/5e1659aede0503e40ae12b3f42504db5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e1\/659\/aed\/5e1659aede0503e40ae12b3f42504db5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0447\u0438\u0441\u0442\u0430\u044f \u0440\u0435\u0447\u044c, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"d\\left[n\\right]\" alt=\"d\\left[n\\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be9\/5cb\/861\/be95cb8616d0018d4eeefe5b8944fe15.svg\" width=\"35\" height=\"19\" data-width=\"4.169\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.169ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be9\/5cb\/861\/be95cb8616d0018d4eeefe5b8944fe15.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be9\/5cb\/861\/be95cb8616d0018d4eeefe5b8944fe15.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0448\u0443\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b: \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439 \u0444\u043e\u043d, \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u043d\u044b\u0435 \u043f\u043e\u043c\u0435\u0445\u0438, \u0440\u0435\u0432\u0435\u0440\u0431\u0435\u0440\u0430\u0446\u0438\u044f, \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0433\u043e\u043b\u043e\u0441\u0430, \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0441\u0436\u0430\u0442\u0438\u044f. \u041d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{s}\\left[n\\right]\" alt=\"\\hat{s}\\left[n\\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/05b\/c20\/e25\/05bc20e25a2dd09c913269b102b5eeb0.svg\" width=\"34\" height=\"20\" data-width=\"4.054\" data-height=\"2.398\" data-vertical-align=\"-0.566\" style=\"width: 4.054ex; height: 2.398ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/05b\/c20\/e25\/05bc20e25a2dd09c913269b102b5eeb0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/05b\/c20\/e25\/05bc20e25a2dd09c913269b102b5eeb0.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0430 \u043a \u0447\u0438\u0441\u0442\u043e\u0439 \u0440\u0435\u0447\u0438 \u043f\u043e \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044e \u0438 \u0440\u0430\u0437\u0431\u043e\u0440\u0447\u0438\u0432\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e-\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438: \u043a \u0441\u0438\u0433\u043d\u0430\u043b\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f STFT, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u0439 \u0441\u043f\u0435\u043a\u0442\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"Y(t,f)=\\vert \\ Y(t,f) \\ \\vert \\cdot e^{i argY(t,f)}\" alt=\"Y(t,f)=\\vert \\ Y(t,f) \\ \\vert \\cdot e^{i argY(t,f)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97b\/05c\/b69\/97b05cb6920a3d81df68975b76e47119.svg\" width=\"241\" height=\"23\" data-width=\"28.64\" data-height=\"2.7\" data-vertical-align=\"-0.566\" style=\"width: 28.64ex; height: 2.7ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97b\/05c\/b69\/97b05cb6920a3d81df68975b76e47119.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97b\/05c\/b69\/97b05cb6920a3d81df68975b76e47119.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0441\u0435\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0430 \u0441\u0438\u0433\u043d\u0430\u043b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c (iSTFT).<\/p>\n<h2>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b<\/h2>\n<p>\u041b\u0443\u0447\u0448\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0435\u0433\u043e \u0434\u043d\u044f \u2014 MP-SENet, PrimeK-Net, SEMamba \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043f\u043e \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a\u043e \u0432\u0441\u0435\u043c \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e-\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c (TF-\u0442\u043e\u043a\u0435\u043d\u0430\u043c) \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u2014 \u0431\u0435\u0437\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u0442\u043e\u043a\u0435\u043d \u0441\u043e\u0431\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442: \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0447\u0438\u0441\u0442\u043e\u0439 \u0440\u0435\u0447\u0438, \u0448\u0438\u043f\u0435\u043d\u0438\u0435, \u0440\u0435\u0437\u043a\u0438\u0439 \u0449\u0435\u043b\u0447\u043e\u043a \u0438\u043b\u0438 \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e.<\/p>\n<p>\u041d\u0430 \u0431\u0443\u043c\u0430\u0433\u0435 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0412 \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0432\u0441\u0435 \u0432\u0445\u043e\u0434\u044b \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0425\u043e\u0442\u044f \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a \u0432\u0445\u043e\u0434\u0443, \u0435\u0451 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0451\u043c\u043a\u043e\u0441\u0442\u044c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043e\u0431\u0449\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0430\u043a\u0443\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0435\u0436\u0438\u043c\u043e\u0432. MoE \u0432\u0432\u043e\u0434\u0438\u0442 \u0431\u043e\u043b\u0435\u0435 \u044f\u0432\u043d\u0443\u044e conditional specialization: \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<p>\u0412 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0434\u0430\u0432\u043d\u043e \u0440\u0435\u0448\u0438\u043b\u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u0441\u043c\u0435\u0441\u044c\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u041f\u043b\u043e\u0442\u043d\u044b\u0439 FFN-\u0431\u043b\u043e\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0445 \u043f\u043e\u0434\u0441\u0435\u0442\u0435\u0439, \u0438 \u043b\u0451\u0433\u043a\u0438\u0439 \u0440\u043e\u0443\u0442\u0435\u0440 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u043b\u0438\u0448\u044c <img decoding=\"async\" class=\"formula inline\" source=\"k\\ll E\" alt=\"k\\ll E\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d8\/5cc\/1b3\/3d85cc1b38d9b2b7b4a66abfdb367774.svg\" width=\"54\" height=\"15\" data-width=\"6.427\" data-height=\"1.722\" data-vertical-align=\"-0.152\" style=\"width: 6.427ex; height: 1.722ex; vertical-align: -0.152ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d8\/5cc\/1b3\/3d85cc1b38d9b2b7b4a66abfdb367774.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d8\/5cc\/1b3\/3d85cc1b38d9b2b7b4a66abfdb367774.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0401\u043c\u043a\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0451\u0442, \u0430 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u2014 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0442.<\/p>\n<p>\u0412 Speech Enhancement sparse MoE \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u043b\u0430\u0431\u0435\u0435, \u0447\u0435\u043c \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 speech-\u0437\u0430\u0434\u0430\u0447\u0430\u0445.<\/p>\n<p><strong>\u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430:<\/strong> \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0430\u044f \u0441\u043c\u0435\u0441\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u2014 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0439 \u0438\u043d\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u0434\u0432\u0438\u0433 \u0434\u043b\u044f SE, \u0447\u0435\u043c \u043f\u043b\u043e\u0442\u043d\u044b\u0439 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 FFN. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0443\u0437\u043a\u0438\u0445 \u0430\u043a\u0443\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u2014 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439 vs \u043d\u0435\u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439 \u0448\u0443\u043c, \u043d\u0438\u0437\u043a\u0438\u0439 vs \u0432\u044b\u0441\u043e\u043a\u0438\u0439 SNR, \u0437\u0432\u043e\u043d\u043a\u0438\u0435 vs \u0433\u043b\u0443\u0445\u0438\u0435 \u0443\u0447\u0430\u0441\u0442\u043a\u0438, \u2014 \u043d\u0435 \u043e\u043f\u043b\u0430\u0447\u0438\u0432\u0430\u044f \u044d\u0442\u043e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u043e\u0441\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435.<\/p>\n<h2>\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/h2>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430:<\/p>\n<ul>\n<li>\n<p>\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438 16 \u043a\u0413\u0446 (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u0434\u043b\u044f wideband-\u043e\u0446\u0435\u043d\u043a\u0438);<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0431\u0430\u0437\u043e\u0432\u0443\u044e MP-SENet \u043f\u0440\u0438 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u043c \u043e\u0431\u0449\u0435\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0435\u043c \u043f\u043b\u043e\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u2014 \u0432 \u044d\u0442\u043e\u043c, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0438 \u0432\u0435\u0441\u044c \u0441\u043c\u044b\u0441\u043b MoE.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u043b\u044f SE:<\/p>\n<ul>\n<li>\n<p><strong>PESQ<\/strong> (wideband) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043e\u0442 \u22120,5 \u0434\u043e 4,5.<\/p>\n<\/li>\n<li>\n<p><strong>CSIG\/CBAK\/COVL<\/strong> \u2014 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0442\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (\u0441\u043e\u0445\u0440\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0447\u0438, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0444\u043e\u043d\u0430, \u043e\u0431\u0449\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e).<\/p>\n<\/li>\n<li>\n<p><strong>SSNR<\/strong> \u2014 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u0438 \u0448\u0443\u043c\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0440\u043e\u0443\u0442\u0435\u0440\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438: \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432.<\/p>\n<h2>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u043f\u043e\u0447\u0435\u043c\u0443 MP-SENet<\/h2>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 MP-SENet. \u041f\u0440\u0438\u0447\u0438\u043d\u044b \u043f\u0440\u0430\u0433\u043c\u0430\u0442\u0438\u0447\u043d\u044b\u0435: \u0443 \u043d\u0435\u0451 \u0447\u0438\u0441\u0442\u0430\u044f \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u043e\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u0438 \u0438\u0437 \u043b\u0443\u0447\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0441\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0445 \u0444\u0430\u0437\u043e\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u0438 \u2014 \u0447\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u2014 \u0435\u0451 FFN-\u043c\u043e\u0434\u0443\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 MoE, \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u044f \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u044b \u0438 STFT-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d.<\/p>\n<p>\u041a\u0440\u0430\u0442\u043a\u043e, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 MP-SENet:<\/p>\n<ol>\n<li>\n<p>\u0417\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 STFT \u2192 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\vert \\ Y \\ \\vert\" alt=\"\\vert \\ Y \\ \\vert\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1c\/fcd\/2a6\/c1cfcd2a68338fb6e8ff6631f01db37f.svg\" width=\"35\" height=\"19\" data-width=\"4.115\" data-height=\"2.26\" data-vertical-align=\"-0.564\" style=\"width: 4.115ex; height: 2.26ex; vertical-align: -0.564ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1c\/fcd\/2a6\/c1cfcd2a68338fb6e8ff6631f01db37f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1c\/fcd\/2a6\/c1cfcd2a68338fb6e8ff6631f01db37f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0441\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u043d\u044b\u043c \u0441\u0436\u0430\u0442\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\vert \\ Y \\ \\vert^{\\beta}\" alt=\"\\vert \\ Y \\ \\vert^{\\beta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/225\/5e4\/efb\/2255e4efb51f7b4a35ab83f42355c04d.svg\" width=\"44\" height=\"22\" data-width=\"5.209\" data-height=\"2.627\" data-vertical-align=\"-0.564\" style=\"width: 5.209ex; height: 2.627ex; vertical-align: -0.564ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/225\/5e4\/efb\/2255e4efb51f7b4a35ab83f42355c04d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/225\/5e4\/efb\/2255e4efb51f7b4a35ab83f42355c04d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"\\beta\\approx 0,3\" alt=\"\\beta\\approx 0,3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c7\/dd6\/39b\/2c7dd639b58734ba0056a24208946a27.svg\" width=\"64\" height=\"17\" data-width=\"7.566\" data-height=\"2.034\" data-vertical-align=\"-0.439\" style=\"width: 7.566ex; height: 2.034ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c7\/dd6\/39b\/2c7dd639b58734ba0056a24208946a27.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c7\/dd6\/39b\/2c7dd639b58734ba0056a24208946a27.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u0438 \u0444\u0430\u0437\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0432\u0443\u0445\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0432 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 Dense Encoder (\u2192 64 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430).<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 TS-\u0431\u043b\u043e\u043a\u043e\u0432 (Time-frequency Self-attention). \u041a\u0430\u0436\u0434\u044b\u0439 \u0431\u043b\u043e\u043a \u2014 \u043f\u0430\u0440\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0445 \u043f\u043e\u0434\u0431\u043b\u043e\u043a\u043e\u0432: \u043e\u0434\u0438\u043d \u0441 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u0432\u0434\u043e\u043b\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u0432\u0434\u043e\u043b\u044c \u0447\u0430\u0441\u0442\u043e\u0442\u044b. \u0412\u043d\u0443\u0442\u0440\u0438 \u043f\u043e\u0434\u0431\u043b\u043e\u043a\u0430 \u2014 FFN \u0432 \u0432\u0438\u0434\u0435 \u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 GRU + \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0434\u0432\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430: Mask Decoder \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 (\u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u043e\u0439 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u0435), Phase Decoder<strong> <\/strong>\u2014 \u0440\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442\u0443\u044e \u0444\u0430\u0437\u0443 \u0447\u0435\u0440\u0435\u0437 \u0430\u0440\u043a\u0442\u0430\u043d\u0433\u0435\u043d\u0441.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u2014 \u0441 \u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u043a\u0441\u0438-\u043e\u0446\u0435\u043d\u043a\u0443 PESQ (GAN-\u0441\u0445\u0435\u043c\u0430).<\/p>\n<\/li>\n<\/ol>\n<p>\u041c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u0430\u044f \u043f\u0440\u0438\u0440\u043e\u0434\u0430 \u0442\u044f\u0436\u0435\u043b\u043e\u0432\u0435\u0441\u043d\u044b\u0445 TS-\u0431\u043b\u043e\u043a\u043e\u0432 \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c.<\/p>\n<h2>\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 SESAME<\/h2>\n<p>\u0413\u0440\u0430\u0444 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 SESAME \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 MP-SENet: \u0442\u0435 \u0436\u0435 STFT-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (<img decoding=\"async\" class=\"formula inline\" source=\"N_{FFT}=400\" alt=\"N_{FFT}=400\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/891\/b89\/cb7\/891b89cb778199e74043b6b079ce69ea.svg\" width=\"101\" height=\"16\" data-width=\"11.938\" data-height=\"1.885\" data-vertical-align=\"-0.339\" style=\"width: 11.938ex; height: 1.885ex; vertical-align: -0.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/891\/b89\/cb7\/891b89cb778199e74043b6b079ce69ea.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/891\/b89\/cb7\/891b89cb778199e74043b6b079ce69ea.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, hop=100, \u043e\u043a\u043d\u043e \u0425\u0430\u043d\u043d\u0430, 16 \u043a\u0413\u0446), \u0442\u043e\u0442 \u0436\u0435 \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0442\u0435 \u0436\u0435 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u044b. \u041c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e TS-\u0431\u043b\u043e\u043a\u0438, \u0432 \u0447\u0430\u0441\u0442\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 FFN \u0437\u0430\u043c\u0435\u043d\u0451\u043d \u043d\u0430 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0439 MoE-FFN.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0bf\/f92\/ed1\/0bff92ed1f3504815fb36ec3b032a1bd.jpg\" alt=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SESAME (MP-SENet \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 MOE-\u043c\u043e\u0434\u0443\u043b\u044f\u043c\u0438)\" title=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SESAME (MP-SENet \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 MOE-\u043c\u043e\u0434\u0443\u043b\u044f\u043c\u0438)\" width=\"1920\" height=\"1437\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/0bf\/f92\/ed1\/0bff92ed1f3504815fb36ec3b032a1bd.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0bf\/f92\/ed1\/0bff92ed1f3504815fb36ec3b032a1bd.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SESAME (MP-SENet \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 MOE-\u043c\u043e\u0434\u0443\u043b\u044f\u043c\u0438)<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443. \u041a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043d\u0438\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u2014 \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u043b\u044e\u0431\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0430 \u00ab\u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00bb.<\/p>\n<h3>\u0428\u0430\u0433 1: \u0441\u0430\u043c \u043c\u043e\u0434\u0443\u043b\u044c MoE-FFN \u0438 \u0434\u0432\u0443\u0445\u0441\u0442\u0443\u043f\u0435\u043d\u0447\u0430\u0442\u043e\u0441\u0442\u044c<\/h3>\n<p>\u0421\u0430\u043c\u043e\u0435 \u043d\u0430\u0438\u0432\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c FFN (\u0432 MP-SENet \u044d\u0442\u043e BiGRU + Linear) \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: BiGRU \u2014 \u0441\u0430\u043c\u0430\u044f \u0442\u044f\u0436\u0451\u043b\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0431\u043b\u043e\u043a\u0430, \u0438 \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"E\" alt=\"E\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/576\/bc3\/558\/576bc35580ee1879ad217bd97ca3e383.svg\" width=\"15\" height=\"13\" data-width=\"1.729\" data-height=\"1.538\" style=\"width: 1.729ex; height: 1.538ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/576\/bc3\/558\/576bc35580ee1879ad217bd97ca3e383.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/576\/bc3\/558\/576bc35580ee1879ad217bd97ca3e383.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u0445 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0437\u043b\u0435\u0442\u0430\u0435\u0442 \u043d\u0435\u0441\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0443\u043b\u044c \u0441\u0434\u0435\u043b\u0430\u043d \u0434\u0432\u0443\u0445\u0441\u0442\u0443\u043f\u0435\u043d\u0447\u0430\u0442\u044b\u043c:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0435\u0440\u0432\u0430\u044f \u0441\u0442\u0443\u043f\u0435\u043d\u044c (\u043e\u0431\u0449\u0430\u044f).<\/strong> \u041a \u0432\u0445\u043e\u0434\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4cd\/68e\/b77\/4cd68eb77ce8d4102e2ff1afe3270582.svg\" width=\"11\" height=\"9\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.294ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4cd\/68e\/b77\/4cd68eb77ce8d4102e2ff1afe3270582.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4cd\/68e\/b77\/4cd68eb77ce8d4102e2ff1afe3270582.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f <em>\u043e\u0434\u043d\u0430<\/em> \u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u0430\u044f GRU (64\u2192128 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u0432\u044b\u0445\u043e\u0434 256). \u0415\u0451 \u0432\u0435\u0441\u0430 \u2014 \u043e\u0431\u0449\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432: \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0436\u0438\u0432\u0451\u0442 \u043e\u0434\u0438\u043d \u0440\u0430\u0437.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0442\u043e\u0440\u0430\u044f \u0441\u0442\u0443\u043f\u0435\u043d\u044c (\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f).<\/strong> \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"E=4\" alt=\"E=4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ce\/138\/054\/8ce1380545f65ee2c23e720a43efc7c1.svg\" width=\"49\" height=\"15\" data-width=\"5.877\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 5.877ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ce\/138\/054\/8ce1380545f65ee2c23e720a43efc7c1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ce\/138\/054\/8ce1380545f65ee2c23e720a43efc7c1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u2014 \u044d\u0442\u043e \u043b\u0451\u0433\u043a\u0438\u0439 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u044b\u0439 MLP: Linear(256\u2192256) \u2192 GELU \u2192 Linear(256\u219264) \u0441 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438. \u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0448\u0451\u0432\u044b\u0435 \u00ab\u0433\u043e\u043b\u043e\u0432\u044b\u00bb.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u044b\u0445\u043e\u0434 GRU \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u043c \u0448\u0443\u043c\u0430 (\u043e \u043d\u0451\u043c \u043d\u0438\u0436\u0435), \u0438 \u0443\u0436\u0435 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u0440\u043e\u0443\u0442\u0435\u0440.<\/p>\n<h3>\u0428\u0430\u0433 2: \u0440\u043e\u0443\u0442\u0438\u043d\u0433, \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0448\u0443\u043c\u043e\u043c<\/h3>\n<p>\u042d\u0442\u043e, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 SESAME \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 MoE.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 TF-\u0442\u043e\u043a\u0435\u043d \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0435 \u0448\u0443\u043c\u0430 \u0432\u043e \u0432\u0441\u0435\u0439 \u0437\u0430\u043f\u0438\u0441\u0438. \u041e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u043c \u0440\u0435\u0447\u0438, \u0438 \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u043d\u043e\u0439 \u043f\u043e\u043c\u0435\u0445\u043e\u0439, \u0438 \u043a\u0443\u0441\u043a\u043e\u043c \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0443\u043b\u0430 \u2014 \u0440\u043e\u0443\u0442\u0435\u0440, \u043e\u043f\u0438\u0440\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0432\u0441\u043b\u0435\u043f\u0443\u044e.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0437\u0432\u0443\u043a\u0430: \u0441\u0436\u0430\u0442\u0430\u044f \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u043d\u0430\u044f \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 Linear + GELU \u0438 \u0434\u0430\u0451\u0442 64-\u043c\u0435\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/86e\/6fe\/007\/86e6fe00739e6ff0042ec6dc237e1b5f.svg\" width=\"11\" height=\"9\" data-width=\"1.357\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.357ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/86e\/6fe\/007\/86e6fe00739e6ff0042ec6dc237e1b5f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/86e\/6fe\/007\/86e6fe00739e6ff0042ec6dc237e1b5f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u043f\u0438\u0441\u0438. \u042d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0440\u043e\u0443\u0442\u0435\u0440 \u2014 \u043e\u043d \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u043e\u0442\u043e\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0430\u043c\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0422\u043e \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439.<\/p>\n<p>\u0411\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0440\u043e\u0443\u0442\u0435\u0440 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0443\u0433\u0430\u0434\u0430\u0442\u044c \u0440\u0435\u0436\u0438\u043c \u0448\u0443\u043c\u0430 \u043f\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0443, \u0447\u0442\u043e \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u2014 \u0438 \u0432 \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u0445\u0443\u0434\u0448\u0430\u043b\u0430\u0441\u044c.\u00a0<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432 \u043d\u0451\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0441\u0436\u0430\u0442\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0448\u0443\u043c\u0430, \u0442\u0430\u043a \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0430. (\u0422\u0430\u043a \u043a\u0430\u043a \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u0430\u044f \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430.)<\/p>\n<h3>\u0428\u0430\u0433 3: Token Choice, \u0430 \u043d\u0435 Expert Choice \u2014 \u0438 \u044d\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e<\/h3>\n<p>\u0412 \u043c\u0438\u0440\u0435 LLM \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f Expert Choice: \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442 \u0441\u0430\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u0435\u0431\u0435 \u0442\u043e\u043f-<img decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/edc\/958\/ba5\/edc958ba56140d2a874bfe7b8073a766.svg\" width=\"8\" height=\"9\" data-width=\"0.98\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 0.98ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/edc\/958\/ba5\/edc958ba56140d2a874bfe7b8073a766.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/edc\/958\/ba5\/edc958ba56140d2a874bfe7b8073a766.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0443 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb. \u041f\u0435\u0440\u0432\u043e\u0439 \u043c\u044b\u0441\u043b\u044c\u044e \u0431\u044b\u043b\u043e \u0432\u0437\u044f\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0451.<\/p>\n<p>\u041d\u043e \u0432 \u0430\u0443\u0434\u0438\u043e Expert Choice \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f: Expert Choice \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u0435 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442, \u0447\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0439. Capacity factor \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u043e\u0437\u044c\u043c\u0451\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442. \u0412 \u0442\u0435\u043a\u0441\u0442\u0435 \u044d\u0442\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u2014 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u0434\u043e\u0435\u0437\u0436\u0430\u0435\u0442 \u043f\u043e residual-\u0441\u0432\u044f\u0437\u0438 \u0434\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u043b\u043e\u0451\u0432, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u043e \u043f\u043e\u0437\u0436\u0435.<\/p>\n<p>\u0412 \u0430\u0443\u0434\u0438\u043e \u043a\u0430\u0436\u0434\u044b\u0439 TF-\u0442\u043e\u043a\u0435\u043d \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0443 \u0441\u0438\u0433\u043d\u0430\u043b\u0430. \u041f\u0440\u043e\u043f\u0443\u0441\u043a \u0434\u0430\u0436\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0440\u0430\u0437\u0440\u044b\u0432\u0430\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u2014 \u0438 \u043d\u0430 \u0441\u043b\u0443\u0445 \u044d\u0442\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b: \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0435 \u0449\u0435\u043b\u0447\u043a\u0438 \u0438 \u0440\u0435\u0437\u043a\u0438\u0435 \u0441\u043a\u0430\u0447\u043a\u0438 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u043c\u0435\u0441\u0442\u0430\u0445 \u0440\u0430\u0437\u0440\u044b\u0432\u043e\u0432. \u0412 \u043d\u0430\u0448\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u0430\u0445 Expert Choice \u0434\u0430\u043b \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u0435 PESQ \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0439.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 SESAME \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Token Choice: \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u043a <img decoding=\"async\" class=\"formula inline\" source=\"k=2\" alt=\"k=2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5a\/1fb\/3d9\/c5a1fb3d9db1c1a2f3362d22ccb64ddf.svg\" width=\"45\" height=\"15\" data-width=\"5.327\" data-height=\"1.756\" data-vertical-align=\"-0.186\" style=\"width: 5.327ex; height: 1.756ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5a\/1fb\/3d9\/c5a1fb3d9db1c1a2f3362d22ccb64ddf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5a\/1fb\/3d9\/c5a1fb3d9db1c1a2f3362d22ccb64ddf.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"E=4\" alt=\"E=4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4eb\/092\/672\/4eb0926727ae4aa148834910f8537ca7.svg\" width=\"49\" height=\"15\" data-width=\"5.877\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 5.877ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4eb\/092\/672\/4eb0926727ae4aa148834910f8537ca7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4eb\/092\/672\/4eb0926727ae4aa148834910f8537ca7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0432\u0435\u0441\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043f\u0435\u0440\u0435\u043d\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u0438 \u0441\u0431\u0440\u043e\u0441\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (token dropping) \u043d\u0435\u0442 \u0432\u043e\u0432\u0441\u0435.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e: \u0442\u0440\u044e\u043a\u0438 \u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430, \u043e\u0442\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0435, \u043d\u0430 \u0430\u0443\u0434\u0438\u043e \u043d\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0443 \u0430\u0443\u0434\u0438\u043e \u043d\u0435\u0442 \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u044d\u0442\u0438 \u0442\u0440\u044e\u043a\u0438.<\/p>\n<h3>\u0428\u0430\u0433 4: \u0433\u0434\u0435 \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0442\u044c MoE \u2014 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435 \u0432\u0435\u0437\u0434\u0435<\/h3>\n<p>\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043e\u0431\u043b\u0430\u0437\u043d \u2014 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c MoE \u0432\u043e \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 TS-\u0431\u043b\u043e\u043a\u0430, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u0432\u0441\u044e \u0441\u0435\u0442\u044c. \u041c\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0445\u0443\u0436\u0435.<\/p>\n<p>\u0414\u0432\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\n<p><strong>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f.<\/strong> \u041f\u0440\u0438 8 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0430\u0445 MoE-FFN \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u043b\u043e\u0441\u0441 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c, \u0437\u0430\u0448\u0443\u043c\u043b\u044f\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u041d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 ~3,5M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0441\u043b\u043e\u044f\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u043c\u0443 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u2014 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0441\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f.<\/strong> \u0420\u0430\u043d\u043d\u0438\u0435 \u0441\u043b\u043e\u0438 \u0431\u043b\u0438\u0436\u0435 \u043a \u0432\u0445\u043e\u0434\u0443, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0438\u043f\u0430\u043c\u0438 \u0448\u0443\u043c\u0430 (\u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439, \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u043d\u044b\u0439, \u0440\u0435\u0447\u0435\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439) \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u044b \u044f\u0440\u0447\u0435 \u0432\u0441\u0435\u0433\u043e. \u0413\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u043b\u043e\u0438 \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0443\u0436\u0435 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0433\u0434\u0435 \u044d\u0442\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043d\u0438\u0432\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430, \u2014 \u0442\u0430\u043c \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043f\u043b\u043e\u0442\u043d\u043e\u0433\u043e FFN \u0445\u0432\u0430\u0442\u0430\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0418\u0442\u043e\u0433: MoE \u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 TS-\u0431\u043b\u043e\u043a\u0430\u0445 (TSB\u2080, TSB\u2081), \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0443 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0439 \u0432\u0435\u0442\u0432\u044f\u0445 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u2014 \u0438\u0442\u043e\u0433\u043e 4 MoE-FFN. \u0414\u0432\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0431\u043b\u043e\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u043b\u043e\u0442\u043d\u044b\u043c\u0438. \u042d\u0442\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0438 \u0441 \u043e\u0431\u0449\u0435\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0439 MoE-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432: MoE \u0432 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0441\u043b\u043e\u0451\u0432 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 MoE \u0432\u0435\u0437\u0434\u0435.<\/p>\n<h3>\u0428\u0430\u0433 5: \u043c\u043d\u043e\u0433\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438<\/h3>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u043d\u0430\u044f \u0431\u043e\u043b\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 Token Choice \u2014 \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (expert collapse). \u041d\u0430 \u0440\u0430\u043d\u043d\u0438\u0445 \u0448\u0430\u0433\u0430\u0445 \u0440\u043e\u0443\u0442\u0435\u0440 \u0441\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0430 \u0443\u0434\u0430\u0447\u043d\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0422\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043f\u0440\u0438\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442 \u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2014 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u044c. \u0412\u0441\u043a\u043e\u0440\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043c\u0435\u0440\u0442\u0432\u0430.<\/p>\n<p>\u0420\u0435\u0448\u0438\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u043d\u0435 \u0432\u044b\u0448\u043b\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 SESAME \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441\u0440\u0430\u0437\u0443 \u0442\u0440\u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0434\u043b\u044f \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445:<\/p>\n<ol>\n<li>\n<p><strong>Switch Transformer loss (\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u0430\u044f).<\/strong> \u0428\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043e\u0442 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0439: <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_{bal}=\\alpha\\cdot E\\cdot\\sum \\limits_{i}{f_iP_i}, \\alpha=0,01\" alt=\"\\mathcal{L}_{bal}=\\alpha\\cdot E\\cdot\\sum \\limits_{i}{f_iP_i}, \\alpha=0,01\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/788\/8d8\/ad3\/7888d8ad3fdfff2e5bb95748a5bcbe47.svg\" width=\"255\" height=\"40\" data-width=\"30.776\" data-height=\"4.847\" data-vertical-align=\"-2.697\" style=\"width: 30.776ex; height: 4.847ex; vertical-align: -2.697ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/788\/8d8\/ad3\/7888d8ad3fdfff2e5bb95748a5bcbe47.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/788\/8d8\/ad3\/7888d8ad3fdfff2e5bb95748a5bcbe47.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"f_i\" alt=\"f_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/319\/fc2\/7dd\/319fc27dd23c8919d692868afc39b1d1.svg\" width=\"16\" height=\"17\" data-width=\"1.848\" data-height=\"2.059\" data-vertical-align=\"-0.464\" style=\"width: 1.848ex; height: 2.059ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/319\/fc2\/7dd\/319fc27dd23c8919d692868afc39b1d1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/319\/fc2\/7dd\/319fc27dd23c8919d692868afc39b1d1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0434\u043e\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fa\/a21\/31e\/4faa2131ec6b90b9a8aea7241f42924c.svg\" width=\"7\" height=\"13\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" style=\"width: 0.781ex; height: 1.52ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fa\/a21\/31e\/4faa2131ec6b90b9a8aea7241f42924c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fa\/a21\/31e\/4faa2131ec6b90b9a8aea7241f42924c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0431\u0435\u0437 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430),  <img decoding=\"async\" class=\"formula inline\" source=\"P_i\" alt=\"P_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62b\/1a9\/4fe\/62b1a94fe408dda25a255ce5e07c0cf6.svg\" width=\"18\" height=\"16\" data-width=\"2.192\" data-height=\"1.902\" data-vertical-align=\"-0.357\" style=\"width: 2.192ex; height: 1.902ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62b\/1a9\/4fe\/62b1a94fe408dda25a255ce5e07c0cf6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62b\/1a9\/4fe\/62b1a94fe408dda25a255ce5e07c0cf6.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u0430 (\u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c).<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 (\u0431\u0435\u0437\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0435).<\/strong> \u0411\u0443\u0444\u0435\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"b_i\" alt=\"b_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a7\/36a\/bc8\/1a736abc8fe7b8d3978ec6349f499b97.svg\" width=\"14\" height=\"16\" data-width=\"1.71\" data-height=\"1.927\" data-vertical-align=\"-0.357\" style=\"width: 1.71ex; height: 1.927ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a7\/36a\/bc8\/1a736abc8fe7b8d3978ec6349f499b97.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a7\/36a\/bc8\/1a736abc8fe7b8d3978ec6349f499b97.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435: <img decoding=\"async\" class=\"formula inline\" source=\"b_i+=\\eta\\cdot(\\frac{K}{E}-f_i), \\eta=0,001\" alt=\"b_i+=\\eta\\cdot(\\frac{K}{E}-f_i), \\eta=0,001\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67f\/123\/d7b\/67f123d7bf0da3e84debe0fc3d023395.svg\" width=\"247\" height=\"39\" data-width=\"29.306\" data-height=\"4.627\" data-vertical-align=\"-1.552\" style=\"width: 29.306ex; height: 4.627ex; vertical-align: -1.552ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67f\/123\/d7b\/67f123d7bf0da3e84debe0fc3d023395.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67f\/123\/d7b\/67f123d7bf0da3e84debe0fc3d023395.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0448\u0442\u0440\u0430\u0444 \u043a \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u0438 \u0440\u0435\u0436\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c<\/p>\n<\/li>\n<li>\n<p><strong>Router Z-loss (\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c).<\/strong> \u0428\u0442\u0440\u0430\u0444 \u0437\u0430 \u0440\u043e\u0441\u0442 \u043b\u043e\u0433\u0438\u0442\u043e\u0432: <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}z=\\beta\\cdot\\mathbb{E}\\left[\\log^2\\sum \\limits _{i}^{}e^{l_i}\\right], \\beta=0,001\" alt=\"\\mathcal{L}z=\\beta\\cdot\\mathbb{E}\\left[\\log^2\\sum \\limits _{i}^{}e^{l_i}\\right], \\beta=0,001\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa6\/fa8\/a06\/aa6fa8a060fe0a5ce4fd9ee9231e2cf5.svg\" width=\"287\" height=\"57\" data-width=\"34.046\" data-height=\"6.785\" data-vertical-align=\"-2.827\" style=\"width: 34.046ex; height: 6.785ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa6\/fa8\/a06\/aa6fa8a060fe0a5ce4fd9ee9231e2cf5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa6\/fa8\/a06\/aa6fa8a060fe0a5ce4fd9ee9231e2cf5.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0411\u0435\u0437 \u043d\u0435\u0451 softmax \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u0430\u0445 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u043f\u044b\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u044b \u0432\u0441\u0435 \u0442\u0440\u0438: Switch loss \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u2014 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0442\u043e\u0447\u043d\u043e, \u0430 \u0431\u0435\u0437 Z-loss \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0437\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u0430\u0445. \u0410\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u0451\u0442 \u0431\u044b\u0441\u0442\u0440\u0443\u044e \u0433\u0440\u0443\u0431\u0443\u044e \u043a\u043e\u0440\u0440\u0435\u043a\u0446\u0438\u044e, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u043b\u043e\u0441\u0441 \u0435\u0451 \u0434\u043e\u0448\u043b\u0438\u0444\u043e\u0432\u044b\u0432\u0430\u0435\u0442.<\/p>\n<h3>\u0428\u0430\u0433 6: \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c<\/h3>\n<p>\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u043e\u0442\u0435\u0440\u044c \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d \u0438\u0437 MP-SENet \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439:\u00a0<\/p>\n<ul>\n<li>\n<p>\u043e\u0448\u0438\u0431\u043a\u0430 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u044b;<\/p>\n<\/li>\n<li>\n<p>\u0444\u0430\u0437\u043e\u0432\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u2014 \u0441 anti-wrapping \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0444\u0430\u0437\u0430 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u043d\u0430 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0435\u0451 \u0432 \u043b\u043e\u0431 \u043d\u0435\u043b\u044c\u0437\u044f;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0448\u0438\u0431\u043a\u0430 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439;<\/p>\n<\/li>\n<li>\n<p>STFT-\u043a\u043e\u043d\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>L1 \u043d\u043e\u0440\u043c\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 GAN-\u0441\u0438\u0433\u043d\u0430\u043b.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a \u043d\u0438\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u0441\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"{\\mathcal{L}_{aux}}^{total}\" alt=\"{\\mathcal{L}_{aux}}^{total}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc7\/c39\/d4f\/cc7c39d4f938ea2f4ce8f60903c577a6.svg\" width=\"65\" height=\"20\" data-width=\"7.867\" data-height=\"2.445\" data-vertical-align=\"-0.357\" style=\"width: 7.867ex; height: 2.445ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc7\/c39\/d4f\/cc7c39d4f938ea2f4ce8f60903c577a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc7\/c39\/d4f\/cc7c39d4f938ea2f4ce8f60903c577a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442 \u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 MoE-FFN.<\/p>\n<p>\u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043c\u0435\u043d\u044f\u0442\u044c \u043d\u0435 \u0441\u0442\u0430\u043b\u0438 \u2014 \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 MoE \u0441 \u044d\u0444\u0444\u0435\u043a\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043b\u043e\u0441\u0441\u0430.<\/p>\n<h3>\u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/p>\n<\/th>\n<th>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">MP-SENet<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u042d\u043a\u0441\u043f\u0435\u0440\u0442\u044b <\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d <\/p>\n<\/td>\n<td>\n<p align=\"left\">2 (Token Choice)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MoE-FFN \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">4 (\u0432 TSB\u2080, TSB\u2081)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043a\u0440\u044b\u0442\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">256<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0444\u0438\u043b\u044c \u0448\u0443\u043c\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">64-\u043c\u0435\u0440\u043d\u044b\u0439, \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0440\u043e\u0443\u0442\u0435\u0440<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0441\u0435\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">3,53 M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>2,87 M<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u2014 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f: \u043f\u0440\u0438 \u043e\u0431\u0449\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u0435 3,53 M \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0438\u0448\u044c 2,87 M, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u043d\u0430 20% \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0443 \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 (MP-SENet large, 3,59 M).<\/p>\n<h2>\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0441\u0435\u0442\u0430\u043f<\/h2>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 VoiceBank+DEMAND: 11\u202f572 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0430\u0440\u044b \u0438 824 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445, \u0440\u0435\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u043e 16 \u043a\u0413\u0446. \u042d\u0442\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f SE-\u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043d\u0430 \u043d\u0451\u043c \u0436\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0431\u0430\u0437\u043e\u0432\u0430\u044f MP-SENet, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0447\u0435\u0441\u0442\u043d\u043e\u0435.<\/p>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: AdamW, lr <img decoding=\"async\" class=\"formula inline\" source=\"5\\cdot10^{-4}\" alt=\"5\\cdot10^{-4}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/897\/7dd\/3e6\/8977dd3e67ef1670720f511e70ab5deb.svg\" width=\"60\" height=\"17\" data-width=\"7.26\" data-height=\"2.067\" data-vertical-align=\"-0.05\" style=\"width: 7.26ex; height: 2.067ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/897\/7dd\/3e6\/8977dd3e67ef1670720f511e70ab5deb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/897\/7dd\/3e6\/8977dd3e67ef1670720f511e70ab5deb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"\\beta_1=0,8\" alt=\"\\beta_1=0,8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ce\/65e\/135\/5ce65e135b1d2f1ae713d2ba73e7bc42.svg\" width=\"71\" height=\"17\" data-width=\"8.554\" data-height=\"2.034\" data-vertical-align=\"-0.439\" style=\"width: 8.554ex; height: 2.034ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ce\/65e\/135\/5ce65e135b1d2f1ae713d2ba73e7bc42.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ce\/65e\/135\/5ce65e135b1d2f1ae713d2ba73e7bc42.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"\\beta_1=0,99\" alt=\"\\beta_1=0,99\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/054\/2c3\/3f3\/0542c33f3660d06c3ed19688b75cc294.svg\" width=\"80\" height=\"17\" data-width=\"9.685\" data-height=\"2.034\" data-vertical-align=\"-0.439\" style=\"width: 9.685ex; height: 2.034ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/054\/2c3\/3f3\/0542c33f3660d06c3ed19688b75cc294.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/054\/2c3\/3f3\/0542c33f3660d06c3ed19688b75cc294.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u0435 \u0441 \u0440\u0430\u0437\u043e\u0433\u0440\u0435\u0432\u043e\u043c \u043d\u0430 58k \u0448\u0430\u0433\u043e\u0432. \u041f\u043e\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 (\u0430\u0431\u043b\u044f\u0446\u0438\u0438) \u0433\u043e\u043d\u044f\u043b\u0441\u044f \u043d\u0430 \u0443\u043a\u043e\u0440\u043e\u0447\u0435\u043d\u043d\u043e\u043c \u0431\u044e\u0434\u0436\u0435\u0442\u0435 \u0432 100 \u044d\u043f\u043e\u0445, \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u043c, 400 \u044d\u043f\u043e\u0445.<\/p>\n<h2>\u041f\u043e\u0438\u0441\u043a \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438: \u0447\u0442\u043e \u043d\u0435 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e<\/h2>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u043d\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c. \u0412\u0441\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438 \u2014 100 \u044d\u043f\u043e\u0445, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0438\u0434, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u0432\u0441\u0451, \u043a\u0440\u043e\u043c\u0435 \u043e\u0434\u043d\u043e\u0439 \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0434\u0435\u0442\u0430\u043b\u0438.<\/p>\n<h3>\u041c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u2014 \u0432\u0441\u0435 \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u043b\u0438\u0441\u044c<\/h3>\n<p>\u041c\u044b \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u0443\u043c\u043d\u0435\u0435 \u0442\u0440\u0435\u043c\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438:<\/p>\n<ul>\n<li>\n<p><strong>SSL-\u043b\u043e\u0441\u0441 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 HuBERT<\/strong> (<img decoding=\"async\" class=\"formula inline\" source=\"W_{SSL}=0,2\" alt=\"W_{SSL}=0,2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c20\/063\/b55\/c20063b55b8574aa5b9f11abdf20497b.svg\" width=\"98\" height=\"16\" data-width=\"11.762\" data-height=\"1.984\" data-vertical-align=\"-0.439\" style=\"width: 11.762ex; height: 1.984ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c20\/063\/b55\/c20063b55b8574aa5b9f11abdf20497b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c20\/063\/b55\/c20063b55b8574aa5b9f11abdf20497b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>). \u0418\u0434\u0435\u044f: \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u0447\u0435\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0438\u0432\u043d\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0442\u0435\u0440\u044f\u0445. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 PESQ \u0443\u043f\u0430\u043b \u043d\u0430 0,07.<\/p>\n<\/li>\n<li>\n<p><strong>Multi-scale \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438<\/strong> (HiFi-GAN-\u0441\u0442\u0438\u043b\u044c, \u0434\u0430\u0443\u043d\u0441\u0435\u043c\u043f\u043b\u0438\u043d\u0433 \u00d71\/\u00d72\/\u00d74) \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e Metric Discriminator. PESQ \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f, \u043d\u043e SSNR \u043f\u0440\u043e\u0441\u0435\u043b \u0441 10,69 \u0434\u043e 10,50.<\/p>\n<\/li>\n<li>\n<p><strong>VAD-\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0442\u0435\u0440\u044c<\/strong> (Silero VAD, \u043f\u043e\u0440\u043e\u0433 0.5): \u0448\u0442\u0440\u0430\u0444\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0440\u0435\u0447\u0435\u0432\u044b\u0445 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0445, \u043d\u0435 \u043d\u0430\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u0437\u0430 \u043f\u0430\u0443\u0437\u044b. PESQ \u0443\u043f\u0430\u043b \u043d\u0430 0,04.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0438 \u043e\u0434\u043d\u043e \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043d\u0435 \u0432\u043e\u0448\u043b\u043e. \u041c\u043e\u0440\u0430\u043b\u044c: \u043d\u0430 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u044e\u0434\u0436\u0435\u0442\u0435 \u044d\u043f\u043e\u0445 \u043d\u0430\u0432\u043e\u0440\u043e\u0442\u044b \u043b\u043e\u0441\u0441\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0448\u0430\u044e\u0442.<\/p>\n<h3>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430 \u0438 \u0447\u0438\u0441\u043b\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"50\" width=\"50\">\n<p>\u2116<\/p>\n<\/th>\n<th data-colwidth=\"412\" width=\"412\">\n<p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th data-colwidth=\"125\" width=\"125\">\n<p>PESQ\u2191<\/p>\n<\/th>\n<th data-colwidth=\"137\" width=\"137\">\n<p>\u0394PESQ<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">00<\/p>\n<\/td>\n<td data-colwidth=\"412\" width=\"412\">\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u0430\u044f SESAME (E=4, k=2, TSB\u2080\u2013\u2081, Token Choice)<\/p>\n<\/td>\n<td data-colwidth=\"125\" width=\"125\">\n<p align=\"left\">3,52<\/p>\n<\/td>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">05<\/p>\n<\/td>\n<td data-colwidth=\"412\" width=\"412\">\n<p align=\"left\">Expert Choice, <\/p>\n<\/td>\n<td data-colwidth=\"125\" width=\"125\">\n<p align=\"left\">3,38<\/p>\n<\/td>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">\u22120,14<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">06<\/p>\n<\/td>\n<td data-colwidth=\"412\" width=\"412\">\n<p align=\"left\">MoE \u0432\u043e \u0432\u0441\u0435\u0445 4 TS-\u0431\u043b\u043e\u043a\u0430\u0445, E=4, k=2<\/p>\n<\/td>\n<td data-colwidth=\"125\" width=\"125\">\n<p align=\"left\">3,44<\/p>\n<\/td>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">\u22120,08<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">07<\/p>\n<\/td>\n<td data-colwidth=\"412\" width=\"412\">\n<p align=\"left\">MoE \u0432 TSB\u2080\u2013\u2081, E=8, k=2<\/p>\n<\/td>\n<td data-colwidth=\"125\" width=\"125\">\n<p align=\"left\">3,47<\/p>\n<\/td>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">\u22120,05<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">08<\/p>\n<\/td>\n<td data-colwidth=\"412\" width=\"412\">\n<p align=\"left\">MoE \u0432 TSB\u2080\u2013\u2081, E=16, k=4<\/p>\n<\/td>\n<td data-colwidth=\"125\" width=\"125\">\n<p align=\"left\">3,42<\/p>\n<\/td>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">\u22120,10<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:<\/p>\n<ul>\n<li>\n<p><strong>Expert Choice <\/strong>\u2014 \u0445\u0443\u0434\u0448\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 (\u22120,14). \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0442\u0435\u0437\u0438\u0441\u0430 \u0432\u044b\u0448\u0435: \u043f\u0440\u043e\u043f\u0443\u0441\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0430\u0443\u0434\u0438\u043e = \u0441\u043b\u044b\u0448\u0438\u043c\u044b\u0435 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>MoE \u0432\u0435\u0437\u0434\u0435<\/strong> \u0445\u0443\u0436\u0435, \u0447\u0435\u043c MoE \u0432 \u0434\u0432\u0443\u0445 \u0431\u043b\u043e\u043a\u0430\u0445 (\u22120,08) \u2014 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u043b\u043e\u0441\u0441 \u0437\u0430\u0448\u0443\u043c\u043b\u044f\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0430 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0442 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u043e\u043b\u044c\u0448\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 <\/strong>\u2014 \u043d\u0435 \u043b\u0443\u0447\u0448\u0435. \u041f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"E=8\" alt=\"E=8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c52\/a61\/558\/c52a615585e26e26cbd7619f9b7585fe.svg\" width=\"49\" height=\"14\" data-width=\"5.877\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 5.877ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c52\/a61\/558\/c52a615585e26e26cbd7619f9b7585fe.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c52\/a61\/558\/c52a615585e26e26cbd7619f9b7585fe.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043f\u0430\u0434\u0430\u0435\u0442 \u0434\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{K}{E}=0,25\" alt=\"\\frac{K}{E}=0,25\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/738\/3c6\/00e\/7383c600e00159a1fdaac9d6e09f46d4.svg\" width=\"86\" height=\"38\" data-width=\"10.424\" data-height=\"4.627\" data-vertical-align=\"-1.552\" style=\"width: 10.424ex; height: 4.627ex; vertical-align: -1.552ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/738\/3c6\/00e\/7383c600e00159a1fdaac9d6e09f46d4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/738\/3c6\/00e\/7383c600e00159a1fdaac9d6e09f46d4.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0436\u0451\u0441\u0442\u0447\u0435 \u043f\u0440\u0438 \u0442\u043e\u043c \u0436\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f. <img decoding=\"async\" class=\"formula inline\" source=\"E=4\" alt=\"E=4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67b\/cef\/247\/67bcef247f943d8243f4bae8af95a867.svg\" width=\"49\" height=\"14\" data-width=\"5.877\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 5.877ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67b\/cef\/247\/67bcef247f943d8243f4bae8af95a867.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67b\/cef\/247\/67bcef247f943d8243f4bae8af95a867.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{K}{E}=0,5\" alt=\"\\frac{K}{E}=0,5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c5\/b90\/c38\/3c5b90c38ace352314e850fb9d028c3b.svg\" width=\"77\" height=\"38\" data-width=\"9.292\" data-height=\"4.627\" data-vertical-align=\"-1.552\" style=\"width: 9.292ex; height: 4.627ex; vertical-align: -1.552ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c5\/b90\/c38\/3c5b90c38ace352314e850fb9d028c3b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c5\/b90\/c38\/3c5b90c38ace352314e850fb9d028c3b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c: \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u043f\u0443\u043b\u0430, \u0438 \u043c\u0430\u043b\u044b\u0435 \u0434\u0438\u0441\u0431\u0430\u043b\u0430\u043d\u0441\u044b \u043d\u0435 \u0440\u0430\u0437\u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f \u0442\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e, \u043a\u0430\u043a \u043f\u0440\u0438 25%.<\/p>\n<\/li>\n<\/ul>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f (<img decoding=\"async\" class=\"formula inline\" source=\"E=4\" alt=\"E=4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbe\/776\/b8c\/cbe776b8cb1951f383ea5ff188717e26.svg\" width=\"49\" height=\"14\" data-width=\"5.877\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 5.877ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbe\/776\/b8c\/cbe776b8cb1951f383ea5ff188717e26.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbe\/776\/b8c\/cbe776b8cb1951f383ea5ff188717e26.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"k=2\" alt=\"k=2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e32\/f06\/e7f\/e32f06e7f49b92d45ced047d9ecc41c1.svg\" width=\"44\" height=\"15\" data-width=\"5.327\" data-height=\"1.756\" data-vertical-align=\"-0.186\" style=\"width: 5.327ex; height: 1.756ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e32\/f06\/e7f\/e32f06e7f49b92d45ced047d9ecc41c1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e32\/f06\/e7f\/e32f06e7f49b92d45ced047d9ecc41c1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, Token Choice, MoE \u0432 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u0431\u043b\u043e\u043a\u0430\u0445) \u2014 \u043b\u0443\u0447\u0448\u0430\u044f \u043f\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445.<\/p>\n<h2>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f: \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0434\u0435\u043b\u044f\u0442 \u0440\u0430\u0431\u043e\u0442\u0443, \u0430 \u043d\u0435 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0442<\/h2>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0441\u043a\u0435\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043a \u043b\u044e\u0431\u043e\u0439 MoE: \u0430 \u0432\u0434\u0440\u0443\u0433 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442 \u043b\u0438\u0448\u043d\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0440\u043e\u0443\u0442\u0435\u0440 \u043d\u0430 \u0434\u0435\u043b\u0435 \u0433\u043e\u043d\u0438\u0442 \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0447\u0435\u0440\u0435\u0437 \u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445 \u0436\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432? \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043c\u044b \u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043d\u0430 \u0434\u0432\u0435 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b.<\/p>\n<p><strong>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u043e\u0443\u0442\u0435\u0440\u0430<\/strong> <img decoding=\"async\" class=\"formula inline\" source=\"H=-\\mathbb{E}\\sum\\nolimits_{i}{p_i\\log p_i}\" alt=\"H=-\\mathbb{E}\\sum\\nolimits_{i}{p_i\\log p_i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/ae5\/b19\/c61ae5b1943ccda66f0145383d65daf8.svg\" width=\"170\" height=\"27\" data-width=\"20.457\" data-height=\"3.265\" data-vertical-align=\"-1.116\" style=\"width: 20.457ex; height: 3.265ex; vertical-align: -1.116ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/ae5\/b19\/c61ae5b1943ccda66f0145383d65daf8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/ae5\/b19\/c61ae5b1943ccda66f0145383d65daf8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043b\u044f 4 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"\\ln4\\approx 1,39\" alt=\"\\ln4\\approx 1,39\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/593\/549\/fbe\/593549fbe681a4f8af7fd9e236ddb1aa.svg\" width=\"90\" height=\"17\" data-width=\"10.812\" data-height=\"2.009\" data-vertical-align=\"-0.439\" style=\"width: 10.812ex; height: 2.009ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/593\/549\/fbe\/593549fbe681a4f8af7fd9e236ddb1aa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/593\/549\/fbe\/593549fbe681a4f8af7fd9e236ddb1aa.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435), \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u043d\u0443\u043b\u044e \u2014 \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435<\/p>\n<p><strong>\u041d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430<\/strong> \u2014 \u0434\u043e\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0443\u0448\u0435\u0434\u0448\u0438\u0445 \u043a \u043d\u0435\u043c\u0443. \u0426\u0435\u043b\u0435\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<img decoding=\"async\" class=\"formula inline\" source=\" \\frac{K}{E}=0,5\" alt=\" \\frac{K}{E}=0,5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f9\/2bf\/726\/5f92bf7262731721bd0e294eea6231ae.svg\" width=\"77\" height=\"38\" data-width=\"9.292\" data-height=\"4.627\" data-vertical-align=\"-1.552\" style=\"width: 9.292ex; height: 4.627ex; vertical-align: -1.552ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f9\/2bf\/726\/5f92bf7262731721bd0e294eea6231ae.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f9\/2bf\/726\/5f92bf7262731721bd0e294eea6231ae.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u041d\u0430 \u0440\u0430\u043d\u043d\u0438\u0445 \u0448\u0430\u0433\u0430\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0433\u0443\u043b\u044f\u0435\u0442 \u043e\u0442 0,2 \u0434\u043e 0,9, \u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u043e\u0433\u0440\u0435\u0432\u0430 (~5\u20138 \u0442\u044b\u0441. \u0448\u0430\u0433\u043e\u0432) \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u043a\u0440\u0438\u0432\u044b\u0435 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043a 0,5 \u0438 \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0441 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435\u043c \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u00b10,01.<\/p>\n<\/li>\n<li>\n<p>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u0442 \u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\ln4\" alt=\"\\ln4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe4\/bdd\/c2a\/fe4bddc2a0bb800af0d619d5371e6999.svg\" width=\"28\" height=\"13\" data-width=\"3.395\" data-height=\"1.57\" style=\"width: 3.395ex; height: 1.57ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe4\/bdd\/c2a\/fe4bddc2a0bb800af0d619d5371e6999.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe4\/bdd\/c2a\/fe4bddc2a0bb800af0d619d5371e6999.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u043b\u0430\u0442\u043e ~1,29 \u2014 \u044d\u0442\u043e ~93% \u043e\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430. \u0412\u043e \u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 MoE-FFN \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043b\u0435\u0436\u0430\u0442 \u0432 \u0443\u0437\u043a\u043e\u043c \u043a\u043e\u0440\u0438\u0434\u043e\u0440\u0435 1,28\u20131,31.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e \u0447\u0451\u043c \u044d\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442? \u0420\u043e\u0443\u0442\u0435\u0440 \u043d\u0435 \u0432\u044b\u0440\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u0440\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u2014 \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0432 \u0434\u0435\u043b\u0435 \u0438 \u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u0440\u043e\u0432\u043d\u0443. \u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0447\u0443\u0442\u044c \u043d\u0438\u0436\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430: \u0437\u043d\u0430\u0447\u0438\u0442, \u0440\u043e\u0443\u0442\u0435\u0440 \u043d\u0435 \u043a\u0438\u0434\u0430\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u0430 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443. \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u0430 \u043d\u0435 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0442 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430. \u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e, \u0430 \u043d\u0435 \u00ab\u043f\u0440\u043e\u0441\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0435\u0441\u043e\u0432\u00bb, \u0438 \u0434\u0430\u0451\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e75\/80c\/38c\/e7580c38c606367b18bd501c134d32dd.jpg\" width=\"1920\" height=\"778\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e75\/80c\/38c\/e7580c38c606367b18bd501c134d32dd.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e75\/80c\/38c\/e7580c38c606367b18bd501c134d32dd.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0434\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u0432 400 \u044d\u043f\u043e\u0445.<\/p>\n<h3>VoiceBank+DEMAND<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"135\" width=\"135\">\n<p><sup>\u041c\u0435\u0442\u043e\u0434<\/sup><\/p>\n<\/th>\n<th data-colwidth=\"82\" width=\"82\">\n<p><sup>\u041f\u0430\u0440\u0430\u043c.<\/sup><\/p>\n<\/th>\n<th data-colwidth=\"78\" width=\"78\">\n<p><sup>\u0410\u043a\u0442\u0438\u0432\u043d.<\/sup><\/p>\n<\/th>\n<th data-colwidth=\"80\" width=\"80\">\n<p><sup>PESQ\u2191<\/sup><\/p>\n<\/th>\n<th data-colwidth=\"78\" width=\"78\">\n<p><sup>CSIG\u2191<\/sup><\/p>\n<\/th>\n<th data-colwidth=\"78\" width=\"78\">\n<p><sup>CBAK\u2191<\/sup><\/p>\n<\/th>\n<th data-colwidth=\"74\" width=\"74\">\n<p><sup>COVL\u2191<\/sup><\/p>\n<\/th>\n<th data-colwidth=\"75\" width=\"75\">\n<p><sup>SSNR\u2191<\/sup><\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\"><sup>\u0417\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u043e\u0435 \u0430\u0443\u0434\u0438\u043e<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"82\" width=\"82\">\n<p align=\"left\"><sup>\u2014<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>\u2014<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"80\" width=\"80\">\n<p align=\"left\"><sup>1,97<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>3,35<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>2,44<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"74\" width=\"74\">\n<p align=\"left\"><sup>2,63<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\"><sup>1,68<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\"><sup>PrimeK-Net<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"82\" width=\"82\">\n<p align=\"left\"><sup>1,41M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>1,41M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"80\" width=\"80\">\n<p align=\"left\"><sup>3,60<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>4,80<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>4,01<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"74\" width=\"74\">\n<p align=\"left\"><sup>4,33<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\"><sup>10,77<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\"><sup>MP-SENet (base)<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"82\" width=\"82\">\n<p align=\"left\"><sup>2,26M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>2,26M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"80\" width=\"80\">\n<p align=\"left\"><sup>3,59<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>4,79<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>4,00<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"74\" width=\"74\">\n<p align=\"left\"><sup>4,32<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\"><sup>10,71<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\"><sup>MP-SENet (large)<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"82\" width=\"82\">\n<p align=\"left\"><sup>3,59M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>3,59M<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"80\" width=\"80\">\n<p align=\"left\"><sup>3,61<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>4,81<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><sup>4,02<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"74\" width=\"74\">\n<p align=\"left\"><sup>4,34<\/sup><\/p>\n<\/td>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\"><sup>10,82<\/sup><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\"><strong><sup>SESAME<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"82\" width=\"82\">\n<p align=\"left\"><strong><sup>3,53M<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><strong><sup>2,87M<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"80\" width=\"80\">\n<p align=\"left\"><strong><sup>3,64<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><strong><sup>4,84<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"78\" width=\"78\">\n<p align=\"left\"><strong><sup>4,04<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"74\" width=\"74\">\n<p align=\"left\"><strong><sup>4,37<\/sup><\/strong><\/p>\n<\/td>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\"><strong><sup>10,93<\/sup><\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>SESAME \u0431\u0435\u0440\u0451\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u044f\u0442\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c. \u041f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u043e PESQ \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0441\u043a\u0440\u043e\u043c\u043d\u044b\u043c \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430\u0445, \u043d\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043d\u0430 \u044d\u0442\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u043f\u0440\u043e\u0431\u0438\u0442\u044c \u043f\u043b\u0430\u043d\u043a\u0443 3,60 \u2014 \u0443\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u043d\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0442\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0438 SSNR: \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u0448\u0443\u043c \u0434\u0430\u0432\u0438\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u0430\u043c\u043e\u0439 \u0440\u0435\u0447\u0438.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u0436\u0435 \u2014 \u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u0435 \u00ab\u0410\u043a\u0442\u0438\u0432\u043d.\u00bb. SESAME \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u0430 \u043f\u043e \u043e\u0431\u0449\u0435\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441 MP-SENet large (3,53 M \u043f\u0440\u043e\u0442\u0438\u0432 3,59 M), \u043d\u043e \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0438\u0448\u044c 2,87 M \u2014 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430 20% \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0441\u043b\u043e\u044f\u0445, \u043f\u0440\u0438 \u043b\u0443\u0447\u0448\u0435\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435. \u0423\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u043e<strong> <\/strong>\u043d\u0435 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0440\u043e\u0441\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h2>\u041f\u043e\u0434\u0432\u043e\u0434\u0438\u043c \u0438\u0442\u043e\u0433\u0438<\/h2>\n<ol>\n<li>\n<p><strong>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0430\u044f \u0441\u043c\u0435\u0441\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0440\u0435\u0447\u0438.<\/strong> \u041d\u0430 VoiceBank+DEMAND SESAME \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u0431\u0430\u0437\u043e\u0432\u0443\u044e MP-SENet, \u0435\u0451 \u0443\u0442\u044f\u0436\u0435\u043b\u0451\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0438 PrimeK-Net, \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u044f PESQ 3,64 \u2014 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 20% \u043c\u0435\u043d\u044c\u0448\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0435\u043c \u0443 \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u043e\u0443\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u2260 \u0440\u043e\u0443\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0430\u0443\u0434\u0438\u043e.<\/strong> Expert Choice, \u0434\u0430\u044e\u0449\u0438\u0439 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u0430\u043b\u0430\u043d\u0441 \u0432 LLM, \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0438\u0437-\u0437\u0430 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430 TF-\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2014 \u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0432 \u0430\u0443\u0434\u0438\u043e \u0444\u0438\u0437\u0438\u0447\u0435\u043d, \u0438 \u0435\u0433\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a \u0441\u043b\u044b\u0448\u0435\u043d. Token Choice \u0441 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d53\/596\/b7c\/d53596b7c25fdcd7b771445570bda723.svg\" width=\"10\" height=\"13\" data-width=\"1.179\" data-height=\"1.595\" data-vertical-align=\"-0.025\" style=\"width: 1.179ex; height: 1.595ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d53\/596\/b7c\/d53596b7c25fdcd7b771445570bda723.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d53\/596\/b7c\/d53596b7c25fdcd7b771445570bda723.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043d\u0435 \u00ab\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435\u00bb.<\/strong> \u0411\u043e\u043b\u044c\u0448\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (<img decoding=\"async\" class=\"formula inline\" source=\"E=8\" alt=\"E=8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4dd\/192\/014\/4dd1920143be655226b2b2f8b7e4e9b1.svg\" width=\"49\" height=\"14\" data-width=\"5.877\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 5.877ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4dd\/192\/014\/4dd1920143be655226b2b2f8b7e4e9b1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4dd\/192\/014\/4dd1920143be655226b2b2f8b7e4e9b1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"E=16\" alt=\"E=16\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08a\/1f8\/2a3\/08a1f82a37246386493fa4097c0f6158.svg\" width=\"58\" height=\"14\" data-width=\"7.008\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 7.008ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08a\/1f8\/2a3\/08a1f82a37246386493fa4097c0f6158.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08a\/1f8\/2a3\/08a1f82a37246386493fa4097c0f6158.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u0438 MoE \u0432\u043e \u0432\u0441\u0435\u0445 \u0431\u043b\u043e\u043a\u0430\u0445 \u0443\u0445\u0443\u0434\u0448\u0430\u044e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. <img decoding=\"async\" class=\"formula inline\" source=\"E=4\" alt=\"E=4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b2\/56d\/9b8\/7b256d9b826645c496e0312af18536e1.svg\" width=\"49\" height=\"14\" data-width=\"5.877\" data-height=\"1.724\" data-vertical-align=\"-0.186\" style=\"width: 5.877ex; height: 1.724ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b2\/56d\/9b8\/7b256d9b826645c496e0312af18536e1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b2\/56d\/9b8\/7b256d9b826645c496e0312af18536e1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"k=2\" alt=\"k=2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30e\/260\/ad4\/30e260ad4aa0fb950c279580e184d5c6.svg\" width=\"44\" height=\"15\" data-width=\"5.327\" data-height=\"1.756\" data-vertical-align=\"-0.186\" style=\"width: 5.327ex; height: 1.756ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30e\/260\/ad4\/30e260ad4aa0fb950c279580e184d5c6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30e\/260\/ad4\/30e260ad4aa0fb950c279580e184d5c6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, MoE \u0432 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 TS-\u0431\u043b\u043e\u043a\u0430\u0445 \u2014 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0443\u043c<\/p>\n<\/li>\n<li>\n<p><strong>\u042d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/strong> \u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u043f\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0440\u043e\u0443\u0442\u0435\u0440\u0430 (~1,29 \u0438\u0437 1,39) \u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435 (\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0443 0,5) \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442: \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435, \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u0438\u0440\u043e\u0441\u0442 \u2014 \u043e\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u0440\u0443\u0434\u0430, \u0430 \u043d\u0435 \u043e\u0442 \u043b\u0438\u0448\u043d\u0438\u0445 \u0432\u0435\u0441\u043e\u0432<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u043c\u043d\u044b\u0435 \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u043b\u0438.<\/strong> SSL-\u043b\u043e\u0441\u0441 \u043d\u0430 HuBERT, multi-scale \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440 \u0438 VAD-\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043d\u0438\u0436\u0430\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435: \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0433\u043b\u0443\u0431\u0436\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u2014 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0438 \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 (DNS \u0432\u043e \u0432\u0435\u0441\u044c \u0440\u043e\u0441\u0442, \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u0430\u044f \u0440\u0435\u0447\u044c) \u0438 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0430\u043a\u0443\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u0448\u0443\u043c\u0430. \u0410\u043d\u0430\u043b\u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e \u0432\u044b\u0431\u043e\u0440 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0432 \u043d\u0435\u0439 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1077722\/\">https:\/\/habr.com\/ru\/articles\/1077722\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u2014 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0417\u0430\u0431\u0443\u0440\u0434\u0430\u0435\u0432, \u041a\u0441\u0435\u043d\u0438\u044f \u0417\u043e\u043b\u0438\u043d\u0430, \u0414\u0430\u043d\u0438\u0438\u043b \u041c\u0430\u0440\u0446\u0435\u043d\u044e\u043a, \u0418\u043b\u044c\u044f \u0422\u0440\u043e\u0444\u0438\u043c\u0435\u043d\u043a\u043e, \u0418\u043b\u044c\u044f \u041a\u0443\u043b\u0435\u0448\u043e\u0432 \u2014 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u044b \u043c\u0430\u0441\u0442\u0435\u0440\u0441\u043a\u043e\u0439 \u043f\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c \u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c \u0418\u0418 \u0432 \u0418\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e-\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0448\u043a\u043e\u043b\u0435 \u041d\u0418\u0423 \u0412\u0428\u042d \u0438 VK. \u0425\u043e\u0442\u0438\u043c \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043d\u0430\u043a\u043e\u043f\u0438\u043b\u0438, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u043a\u043e\u0440\u043c\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u0440\u0435\u0447\u0435\u0432\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0438 \u0434\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0442\u0438\u043f\u0430\u043c\u0438 \u0448\u0443\u043c\u0430.\u00a0\u0420\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0437\u0430\u0434\u0430\u0447\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0435\u0447\u0438 (Speech Enhancement, SE) \u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u0451 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0443\u044e \u0441\u043c\u0435\u0441\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (sparse Mixture of Experts, MoE). \u042d\u0442\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0443\u0436\u0435 \u0441\u0442\u0430\u043b\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c, \u0430 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0430\u0443\u0434\u0438\u043e \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u043f\u0440\u0438\u0436\u0438\u043b\u0430\u0441\u044c.\u041c\u043e\u0434\u0435\u043b\u044c \u043c\u044b \u043d\u0430\u0437\u0432\u0430\u043b\u0438 SESAME \u2014 Speech Enhancement with Sparse Adaptive Mixture of Experts. \u041e\u043d\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 MP-SENet. \u0412 \u043d\u0435\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u043d\u0430 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0439 MoE-\u043c\u043e\u0434\u0443\u043b\u044c. \u041a\u043e\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043d\u0430 GitHub.\u0417\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u0430\u0441\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0448\u0443\u043c\u043e\u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0438\u0445 \u0438 \u0442\u0430\u043a \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u2014 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043d\u0438\u0436\u0435. \u0410 \u0437\u0430\u043e\u0434\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u043a\u0430\u043a\u0438\u0435 \u0442\u0440\u044e\u043a\u0438 \u0438\u0437 \u043c\u0438\u0440\u0430 LLM \u0432 \u0430\u0443\u0434\u0438\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Expert Choice) \u2014 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443.\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438\u0417\u0430\u0434\u0430\u0447\u0430 \u0448\u0443\u043c\u043e\u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e: \u0435\u0441\u0442\u044c \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b , \u0433\u0434\u0435  \u2014 \u0447\u0438\u0441\u0442\u0430\u044f \u0440\u0435\u0447\u044c, \u0430  \u2014 \u0448\u0443\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b: \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439 \u0444\u043e\u043d, \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u043d\u044b\u0435 \u043f\u043e\u043c\u0435\u0445\u0438, \u0440\u0435\u0432\u0435\u0440\u0431\u0435\u0440\u0430\u0446\u0438\u044f, \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0433\u043e\u043b\u043e\u0441\u0430, \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0441\u0436\u0430\u0442\u0438\u044f. \u041d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 , \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0430 \u043a \u0447\u0438\u0441\u0442\u043e\u0439 \u0440\u0435\u0447\u0438 \u043f\u043e \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044e \u0438 \u0440\u0430\u0437\u0431\u043e\u0440\u0447\u0438\u0432\u043e\u0441\u0442\u0438.\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e-\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438: \u043a \u0441\u0438\u0433\u043d\u0430\u043b\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f STFT, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u0439 \u0441\u043f\u0435\u043a\u0442\u0440 , \u0441\u0435\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0430 \u0441\u0438\u0433\u043d\u0430\u043b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c (iSTFT).\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b\u041b\u0443\u0447\u0448\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0435\u0433\u043e \u0434\u043d\u044f \u2014 MP-SENet, PrimeK-Net, SEMamba \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043f\u043e \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a\u043e \u0432\u0441\u0435\u043c \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e-\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c (TF-\u0442\u043e\u043a\u0435\u043d\u0430\u043c) \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u2014 \u0431\u0435\u0437\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u0442\u043e\u043a\u0435\u043d \u0441\u043e\u0431\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442: \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0447\u0438\u0441\u0442\u043e\u0439 \u0440\u0435\u0447\u0438, \u0448\u0438\u043f\u0435\u043d\u0438\u0435, \u0440\u0435\u0437\u043a\u0438\u0439 \u0449\u0435\u043b\u0447\u043e\u043a \u0438\u043b\u0438 \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e.\u041d\u0430 \u0431\u0443\u043c\u0430\u0433\u0435 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0412 \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0432\u0441\u0435 \u0432\u0445\u043e\u0434\u044b \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0425\u043e\u0442\u044f \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a \u0432\u0445\u043e\u0434\u0443, \u0435\u0451 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0451\u043c\u043a\u043e\u0441\u0442\u044c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043e\u0431\u0449\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0430\u043a\u0443\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0435\u0436\u0438\u043c\u043e\u0432. MoE \u0432\u0432\u043e\u0434\u0438\u0442 \u0431\u043e\u043b\u0435\u0435 \u044f\u0432\u043d\u0443\u044e conditional specialization: \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.\u0412 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0434\u0430\u0432\u043d\u043e \u0440\u0435\u0448\u0438\u043b\u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u0441\u043c\u0435\u0441\u044c\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u041f\u043b\u043e\u0442\u043d\u044b\u0439 FFN-\u0431\u043b\u043e\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0445 \u043f\u043e\u0434\u0441\u0435\u0442\u0435\u0439, \u0438 \u043b\u0451\u0433\u043a\u0438\u0439 \u0440\u043e\u0443\u0442\u0435\u0440 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u043b\u0438\u0448\u044c  \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0401\u043c\u043a\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0451\u0442, \u0430 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u2014 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0442.\u0412 Speech Enhancement sparse MoE \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u043b\u0430\u0431\u0435\u0435, \u0447\u0435\u043c \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 speech-\u0437\u0430\u0434\u0430\u0447\u0430\u0445.\u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430: \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0430\u044f \u0441\u043c\u0435\u0441\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u2014 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0439 \u0438\u043d\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u0434\u0432\u0438\u0433 \u0434\u043b\u044f SE, \u0447\u0435\u043c \u043f\u043b\u043e\u0442\u043d\u044b\u0439 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 FFN. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0443\u0437\u043a\u0438\u0445 \u0430\u043a\u0443\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u2014 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439 vs \u043d\u0435\u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439 \u0448\u0443\u043c, \u043d\u0438\u0437\u043a\u0438\u0439 vs \u0432\u044b\u0441\u043e\u043a\u0438\u0439 SNR, \u0437\u0432\u043e\u043d\u043a\u0438\u0435 vs \u0433\u043b\u0443\u0445\u0438\u0435 \u0443\u0447\u0430\u0441\u0442\u043a\u0438, \u2014 \u043d\u0435 \u043e\u043f\u043b\u0430\u0447\u0438\u0432\u0430\u044f \u044d\u0442\u043e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u043e\u0441\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435.\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430:\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438 16 \u043a\u0413\u0446 (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u0434\u043b\u044f wideband-\u043e\u0446\u0435\u043d\u043a\u0438);\u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0431\u0430\u0437\u043e\u0432\u0443\u044e MP-SENet \u043f\u0440\u0438 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u043c \u043e\u0431\u0449\u0435\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0435\u043c \u043f\u043b\u043e\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u2014 \u0432 \u044d\u0442\u043e\u043c, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0438 \u0432\u0435\u0441\u044c \u0441\u043c\u044b\u0441\u043b MoE.\u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u043b\u044f SE:PESQ (wideband) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043e\u0442 \u22120,5 \u0434\u043e 4,5.CSIG\/CBAK\/COVL \u2014 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0442\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (\u0441\u043e\u0445\u0440\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0447\u0438, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0444\u043e\u043d\u0430, \u043e\u0431\u0449\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e).SSNR \u2014 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u0438 \u0448\u0443\u043c\u0430.\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0440\u043e\u0443\u0442\u0435\u0440\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438: \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432.\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u043f\u043e\u0447\u0435\u043c\u0443 MP-SENet\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 MP-SENet. \u041f\u0440\u0438\u0447\u0438\u043d\u044b \u043f\u0440\u0430\u0433\u043c\u0430\u0442\u0438\u0447\u043d\u044b\u0435: \u0443 \u043d\u0435\u0451 \u0447\u0438\u0441\u0442\u0430\u044f \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u043e\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u0438 \u0438\u0437 \u043b\u0443\u0447\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0441\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0445 \u0444\u0430\u0437\u043e\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u0438 \u2014 \u0447\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u2014 \u0435\u0451 FFN-\u043c\u043e\u0434\u0443\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 MoE, \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u044f \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u044b \u0438 STFT-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d.\u041a\u0440\u0430\u0442\u043a\u043e, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 MP-SENet:\u0417\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 STFT \u2192 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u0430  (\u0441\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u043d\u044b\u043c \u0441\u0436\u0430\u0442\u0438\u0435\u043c , ) \u0438 \u0444\u0430\u0437\u0430.\u0414\u0432\u0443\u0445\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0432 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 Dense Encoder (\u2192 64 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430).\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 TS-\u0431\u043b\u043e\u043a\u043e\u0432 (Time-frequency Self-attention). \u041a\u0430\u0436\u0434\u044b\u0439 \u0431\u043b\u043e\u043a \u2014 \u043f\u0430\u0440\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0445 \u043f\u043e\u0434\u0431\u043b\u043e\u043a\u043e\u0432: \u043e\u0434\u0438\u043d \u0441 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u0432\u0434\u043e\u043b\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u0432\u0434\u043e\u043b\u044c \u0447\u0430\u0441\u0442\u043e\u0442\u044b. \u0412\u043d\u0443\u0442\u0440\u0438 \u043f\u043e\u0434\u0431\u043b\u043e\u043a\u0430 \u2014 FFN \u0432 \u0432\u0438\u0434\u0435 \u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 GRU + \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f.\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0434\u0432\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u0430: Mask Decoder \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 (\u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u043e\u0439 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u0435), Phase Decoder \u2014 \u0440\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442\u0443\u044e \u0444\u0430\u0437\u0443 \u0447\u0435\u0440\u0435\u0437 \u0430\u0440\u043a\u0442\u0430\u043d\u0433\u0435\u043d\u0441.\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u2014 \u0441 \u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u043a\u0441\u0438-\u043e\u0446\u0435\u043d\u043a\u0443 PESQ (GAN-\u0441\u0445\u0435\u043c\u0430).\u041c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u0430\u044f \u043f\u0440\u0438\u0440\u043e\u0434\u0430 \u0442\u044f\u0436\u0435\u043b\u043e\u0432\u0435\u0441\u043d\u044b\u0445 TS-\u0431\u043b\u043e\u043a\u043e\u0432 \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c.\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 SESAME\u0413\u0440\u0430\u0444 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 SESAME \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 MP-SENet: \u0442\u0435 \u0436\u0435 STFT-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (, hop=100, \u043e\u043a\u043d\u043e \u0425\u0430\u043d\u043d\u0430, 16 \u043a\u0413\u0446), \u0442\u043e\u0442 \u0436\u0435 \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0442\u0435 \u0436\u0435 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u044b. \u041c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e TS-\u0431\u043b\u043e\u043a\u0438, \u0432 \u0447\u0430\u0441\u0442\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 FFN \u0437\u0430\u043c\u0435\u043d\u0451\u043d \u043d\u0430 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0439 MoE-FFN.\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 SESAME (MP-SENet \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 MOE-\u043c\u043e\u0434\u0443\u043b\u044f\u043c\u0438)\u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443. \u041a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043d\u0438\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u2014 \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u043b\u044e\u0431\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0430 \u00ab\u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00bb.\u0428\u0430\u0433 1: \u0441\u0430\u043c \u043c\u043e\u0434\u0443\u043b\u044c MoE-FFN \u0438 \u0434\u0432\u0443\u0445\u0441\u0442\u0443\u043f\u0435\u043d\u0447\u0430\u0442\u043e\u0441\u0442\u044c\u0421\u0430\u043c\u043e\u0435 \u043d\u0430\u0438\u0432\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c FFN (\u0432 MP-SENet \u044d\u0442\u043e BiGRU + Linear) \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: BiGRU \u2014 \u0441\u0430\u043c\u0430\u044f \u0442\u044f\u0436\u0451\u043b\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0431\u043b\u043e\u043a\u0430, \u0438 \u043f\u0440\u0438  \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u0445 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0437\u043b\u0435\u0442\u0430\u0435\u0442 \u043d\u0435\u0441\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0443\u043b\u044c \u0441\u0434\u0435\u043b\u0430\u043d \u0434\u0432\u0443\u0445\u0441\u0442\u0443\u043f\u0435\u043d\u0447\u0430\u0442\u044b\u043c:\u041f\u0435\u0440\u0432\u0430\u044f \u0441\u0442\u0443\u043f\u0435\u043d\u044c (\u043e\u0431\u0449\u0430\u044f). \u041a \u0432\u0445\u043e\u0434\u0443  \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u0430\u044f GRU (64\u2192128 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u0432\u044b\u0445\u043e\u0434 256). \u0415\u0451 \u0432\u0435\u0441\u0430 \u2014 \u043e\u0431\u0449\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432: \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0436\u0438\u0432\u0451\u0442 \u043e\u0434\u0438\u043d \u0440\u0430\u0437.\u0412\u0442\u043e\u0440\u0430\u044f \u0441\u0442\u0443\u043f\u0435\u043d\u044c (\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f). \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437  \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u2014 \u044d\u0442\u043e \u043b\u0451\u0433\u043a\u0438\u0439 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u044b\u0439 MLP: Linear(256\u2192256) \u2192 GELU \u2192 Linear(256\u219264) \u0441 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438. \u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0448\u0451\u0432\u044b\u0435 \u00ab\u0433\u043e\u043b\u043e\u0432\u044b\u00bb.\u0412\u044b\u0445\u043e\u0434 GRU \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u043c \u0448\u0443\u043c\u0430 (\u043e \u043d\u0451\u043c \u043d\u0438\u0436\u0435), \u0438 \u0443\u0436\u0435 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u0440\u043e\u0443\u0442\u0435\u0440.\u0428\u0430\u0433 2: \u0440\u043e\u0443\u0442\u0438\u043d\u0433, \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0448\u0443\u043c\u043e\u043c\u042d\u0442\u043e, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 SESAME \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 MoE.\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 TF-\u0442\u043e\u043a\u0435\u043d \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0435 \u0448\u0443\u043c\u0430 \u0432\u043e \u0432\u0441\u0435\u0439 \u0437\u0430\u043f\u0438\u0441\u0438. \u041e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u043c \u0440\u0435\u0447\u0438, \u0438 \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u043d\u043e\u0439 \u043f\u043e\u043c\u0435\u0445\u043e\u0439, \u0438 \u043a\u0443\u0441\u043a\u043e\u043c \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0443\u043b\u0430 \u2014 \u0440\u043e\u0443\u0442\u0435\u0440, \u043e\u043f\u0438\u0440\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0432\u0441\u043b\u0435\u043f\u0443\u044e.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0437\u0432\u0443\u043a\u0430: \u0441\u0436\u0430\u0442\u0430\u044f \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u043d\u0430\u044f \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 Linear + GELU \u0438 \u0434\u0430\u0451\u0442 64-\u043c\u0435\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 , \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u043f\u0438\u0441\u0438. \u042d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0440\u043e\u0443\u0442\u0435\u0440 \u2014 \u043e\u043d \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u043e\u0442\u043e\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0430\u043c\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0422\u043e \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439.\u0411\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0440\u043e\u0443\u0442\u0435\u0440 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0443\u0433\u0430\u0434\u0430\u0442\u044c \u0440\u0435\u0436\u0438\u043c \u0448\u0443\u043c\u0430 \u043f\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0443, \u0447\u0442\u043e \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u2014 \u0438 \u0432 \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u0445\u0443\u0434\u0448\u0430\u043b\u0430\u0441\u044c.\u00a0\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432 \u043d\u0451\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0441\u0436\u0430\u0442\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0448\u0443\u043c\u0430, \u0442\u0430\u043a \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0430. (\u0422\u0430\u043a \u043a\u0430\u043a \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u0430\u044f \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430.)\u0428\u0430\u0433 3: Token Choice, \u0430 \u043d\u0435 Expert Choice \u2014 \u0438 \u044d\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e\u0412 \u043c\u0438\u0440\u0435 LLM \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f Expert Choice: \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442 \u0441\u0430\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u0435\u0431\u0435 \u0442\u043e\u043f- \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0443 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb. \u041f\u0435\u0440\u0432\u043e\u0439 \u043c\u044b\u0441\u043b\u044c\u044e \u0431\u044b\u043b\u043e \u0432\u0437\u044f\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0451.\u041d\u043e \u0432 \u0430\u0443\u0434\u0438\u043e Expert Choice \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f: Expert Choice \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u0435 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442, \u0447\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0439. Capacity factor \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u043e\u0437\u044c\u043c\u0451\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442. \u0412 \u0442\u0435\u043a\u0441\u0442\u0435 \u044d\u0442\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u2014 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u0434\u043e\u0435\u0437\u0436\u0430\u0435\u0442 \u043f\u043e residual-\u0441\u0432\u044f\u0437\u0438 \u0434\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u043b\u043e\u0451\u0432, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u043e \u043f\u043e\u0437\u0436\u0435.\u0412 \u0430\u0443\u0434\u0438\u043e \u043a\u0430\u0436\u0434\u044b\u0439 TF-\u0442\u043e\u043a\u0435\u043d \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0443 \u0441\u0438\u0433\u043d\u0430\u043b\u0430. \u041f\u0440\u043e\u043f\u0443\u0441\u043a \u0434\u0430\u0436\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0440\u0430\u0437\u0440\u044b\u0432\u0430\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u2014 \u0438 \u043d\u0430 \u0441\u043b\u0443\u0445 \u044d\u0442\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b: \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0435 \u0449\u0435\u043b\u0447\u043a\u0438 \u0438 \u0440\u0435\u0437\u043a\u0438\u0435 \u0441\u043a\u0430\u0447\u043a\u0438 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u043c\u0435\u0441\u0442\u0430\u0445 \u0440\u0430\u0437\u0440\u044b\u0432\u043e\u0432. \u0412 \u043d\u0430\u0448\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u0430\u0445 Expert Choice \u0434\u0430\u043b \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u0435 PESQ \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0439.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 SESAME \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Token Choice: \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u043a  \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c \u0438\u0437 , \u0432\u0435\u0441\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043f\u0435\u0440\u0435\u043d\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u0438 \u0441\u0431\u0440\u043e\u0441\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (token dropping) \u043d\u0435\u0442 \u0432\u043e\u0432\u0441\u0435.\u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e: \u0442\u0440\u044e\u043a\u0438 \u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430, \u043e\u0442\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0435, \u043d\u0430 \u0430\u0443\u0434\u0438\u043e \u043d\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0443 \u0430\u0443\u0434\u0438\u043e \u043d\u0435\u0442 \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u044d\u0442\u0438 \u0442\u0440\u044e\u043a\u0438.\u0428\u0430\u0433 4: \u0433\u0434\u0435 \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0442\u044c MoE \u2014 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435 \u0432\u0435\u0437\u0434\u0435\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043e\u0431\u043b\u0430\u0437\u043d \u2014 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c MoE \u0432\u043e \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 TS-\u0431\u043b\u043e\u043a\u0430, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u0432\u0441\u044e \u0441\u0435\u0442\u044c. \u041c\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0445\u0443\u0436\u0435.\u0414\u0432\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b:\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f. \u041f\u0440\u0438 8 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0430\u0445 MoE-FFN \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u043b\u043e\u0441\u0441 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c, \u0437\u0430\u0448\u0443\u043c\u043b\u044f\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u041d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 ~3,5M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0441\u043b\u043e\u044f\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u043c\u0443 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u2014 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0441\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f.\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f. \u0420\u0430\u043d\u043d\u0438\u0435 \u0441\u043b\u043e\u0438 \u0431\u043b\u0438\u0436\u0435 \u043a \u0432\u0445\u043e\u0434\u0443, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0438\u043f\u0430\u043c\u0438 \u0448\u0443\u043c\u0430 (\u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439, \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u043d\u044b\u0439, \u0440\u0435\u0447\u0435\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439) \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u044b \u044f\u0440\u0447\u0435 \u0432\u0441\u0435\u0433\u043e. \u0413\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u043b\u043e\u0438 \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0443\u0436\u0435 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0433\u0434\u0435 \u044d\u0442\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043d\u0438\u0432\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430, \u2014 \u0442\u0430\u043c \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043f\u043b\u043e\u0442\u043d\u043e\u0433\u043e FFN \u0445\u0432\u0430\u0442\u0430\u0435\u0442.\u0418\u0442\u043e\u0433: MoE \u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 TS-\u0431\u043b\u043e\u043a\u0430\u0445 (TSB\u2080, TSB\u2081), \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0443 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0439 \u0432\u0435\u0442\u0432\u044f\u0445 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u2014 \u0438\u0442\u043e\u0433\u043e 4 MoE-FFN. \u0414\u0432\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0431\u043b\u043e\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u043b\u043e\u0442\u043d\u044b\u043c\u0438. \u042d\u0442\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0438 \u0441 \u043e\u0431\u0449\u0435\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0439 MoE-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432: MoE \u0432 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0441\u043b\u043e\u0451\u0432 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 MoE \u0432\u0435\u0437\u0434\u0435.\u0428\u0430\u0433 5: \u043c\u043d\u043e\u0433\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u043d\u0430\u044f \u0431\u043e\u043b\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 Token Choice \u2014 \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (expert&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-493258","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/493258","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=493258"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/493258\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=493258"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=493258"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=493258"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}