{"id":494140,"date":"2026-09-09T23:31:10","date_gmt":"2026-09-09T23:31:10","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=494140"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=494140","title":{"rendered":"MoVA: \u043d\u043e\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>3 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 Institute of Foundation Models (IFM, \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 MBZUAI) \u0432\u044b\u043a\u0430\u0442\u0438\u043b \u0437\u043e\u043e\u043f\u0430\u0440\u043a \u0438\u0437 \u0448\u0435\u0441\u0442\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 K2 Horizon \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u0442 0.9B \u0434\u043e 375B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <\/p>\n<p>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0430\u043c\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043c\u043e\u0434\u0435\u043b\u044c, <a href=\"https:\/\/huggingface.co\/IFM\/K2-Horizon-MoVA-36B-A4B\" rel=\"noopener nofollow\">K2-Horizon-MoVA-36B-A4B<\/a>: 36 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043a\u043e\u043b\u043e 4 \u043c\u043b\u0440\u0434. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0442\u043e MoE-\u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432 \u043d\u0435\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u044f\u043c\u043e \u0432 attention \u0441\u043b\u043e\u0438 \u0438 \u043d\u0430\u0437\u0432\u0430\u043b\u0438 \u044d\u0442\u043e <strong>MoVA, Mixture-of-Value Attention<\/strong>.<\/p>\n<h3>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 MoE<\/h3>\n<p>\u0412 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u043b\u043e\u043a \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 attention-\u0441\u043b\u043e\u044f \u0438 FFN (feed-forward network). FFN, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0441\u0430\u043c\u0430\u044f \u0442\u044f\u0436\u0435\u043b\u0430\u044f \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0447\u0430\u0441\u0442\u044c \u0431\u043b\u043e\u043a\u0430, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0435 \u043e\u0431\u044b\u0447\u043d\u043e \u201c\u0440\u0430\u0437\u0440\u0435\u0436\u0430\u044e\u0442\u201d \u0432 \u0434\u0443\u0445\u0435 Mixture-of-Experts:<\/p>\n<ul>\n<li>\n<p>\u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e FFN \u0434\u0435\u0440\u0436\u0430\u0442 \u043f\u0443\u043b \u0438\u0437 N \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (\u0442\u043e\u0436\u0435 FFN, \u043d\u043e \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435)<\/p>\n<\/li>\n<li>\n<p>router (\u043e\u0431\u044b\u0447\u043d\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 + softmax\/sigmoid) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0440\u0435\u0448\u0430\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 top-k \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0438\u0437 N \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/p>\n<\/li>\n<li>\n<p>\u0432\u044b\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u0447\u0430\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u0434\u0438\u043d \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e shared experts, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b \u0432\u0441\u0435\u0433\u0434\u0430, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0435\u0440\u044f\u0442\u044c \u201c\u043e\u0431\u0449\u0438\u0435\u201d \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u0440\u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0445\u0440\u0430\u043d\u0438\u0442 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0443\u044e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u0435\u043c\u043a\u043e\u0441\u0442\u044c (\u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432), \u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u201ctotal params\u201d \u0438 \u201cactive params\u201d \u0432 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u0445 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 open-weight \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (DeepSeek-V3, Qwen3-MoE, Nemotron \u0438 \u0442.\u0434.). <\/p>\n<p>\u0412\u0441\u044f \u044d\u0442\u0430 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c MoE \u0436\u0438\u0432\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 FFN. Attention \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043b\u043e\u0442\u043d\u044b\u043c\u0438 Q\/K\/V-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f\u043c\u0438, \u0438 \u0441\u0430\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<h3>\u0427\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 MoVA<\/h3>\n<p>MoVA \u0431\u0435\u0440\u0435\u0442 \u0442\u0443 \u0436\u0435 \u0441\u0430\u043c\u0443\u044e \u0438\u0434\u0435\u044e: router + top-k \u0438\u0437 \u043f\u0443\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 + \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435, \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442 \u0435\u0435 \u0432\u043d\u0443\u0442\u0440\u044c attention, \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439 [<a href=\"https:\/\/ifm.ai\/blog\/k2\/\" rel=\"noopener nofollow\">1<\/a>].<\/p>\n<p>\u041b\u043e\u0433\u0438\u043a\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f:<\/p>\n<ol>\n<li>\n<p>Q \u0438 K \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e (\u043f\u043b\u043e\u0442\u043d\u043e) \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>V (value) \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 MoE: \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0439 value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0443 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u043f\u0443\u043b value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 per-token router \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 top-k \u0438\u0437 \u043d\u0438\u0445.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u043c\u0443 \u0440\u0430\u0437\u0431\u043e\u0440\u0443 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (\u043d\u0430\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u043e\u0442 \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Qwen3MoE) \u0432 K2-Horizon-MoVA-36B-A4B \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u044b\u0439 \u0440\u043e\u0443\u0442\u0435\u0440 \u0432 attention, \u0441 post-gate \u0447\u0435\u0440\u0435\u0437 softplus, \u0430 \u043d\u0435 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0439 softmax-top-k, \u043a\u0430\u043a \u0432 FFN-\u0440\u043e\u0443\u0442\u0435\u0440\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 value-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430 \u0441 FlashAttention \u0438 GQA, \u0442.\u0435. \u044d\u0442\u043e \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0431\u043e\u043a\u0443, \u0430 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u201c\u043a\u0430\u043a\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043d\u0435\u0441\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u043f\u043e\u0442\u043e\u043a\u0443\u201d, \u0438 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e-\u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0439, \u0447\u0435\u043c \u0435\u0434\u0438\u043d\u0430\u044f \u043d\u0430 \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f. <\/p>\n<p>\u0420\u0430\u0437 FFN \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 MoE, \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e value-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0438\u0433\u0440\u0430\u0442\u044c \u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c Q\/K, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0435 \u0437\u0430 \u201c\u043a\u0443\u0434\u0430 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u201d, \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u044b\u043c\u0438 \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c\u0438.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0432 \u0441\u0430\u043c\u043e\u0439 K2-Horizon-MoVA-36B-A4B \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>k2_horizon<\/code> (<code>K2HorizonForCausalLM<\/code>)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0441\u0435\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">~36 \u043c\u043b\u0440\u0434 (37.44B \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">~4 \u043c\u043b\u0440\u0434 (5.95B \u043f\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0443 vLLM Recipes \u0441 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043b\u043e\u0435\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">48 (3 \u201c\u0432\u0435\u0434\u0443\u0449\u0438\u0445\u201d \u043f\u043b\u043e\u0442\u043d\u044b\u0445 + 45 MoE-\u0441\u043b\u043e\u0435\u0432)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hidden size<\/p>\n<\/td>\n<td>\n<p align=\"left\">2560<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MoE \u0432 FFN<\/p>\n<\/td>\n<td>\n<p align=\"left\">100 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, top-8 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 + 1 shared expert \u043d\u0430 \u0441\u043b\u043e\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MoVA \u0432 attention<\/p>\n<\/td>\n<td>\n<p align=\"left\">64 value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430, top-4 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043d\u0430 \u0441\u043b\u043e\u0439 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, sigmoid-\u0440\u043e\u0443\u0442\u0435\u0440 + softplus post-gate<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">512K (524 288 \u0442\u043e\u043a\u0435\u043d\u043e\u0432)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u042d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u0435\u0441\u0430 (\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 input\/output)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">BF16<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u0438\u0446\u0435\u043d\u0437\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">Apache 2.0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0432\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u044f \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e: MoE \u0432 FFN (\u043a\u0430\u043a \u0443 \u0432\u0441\u0435\u0445), \u0438 MoVA \u0432 value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f\u0445 attention (\u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u0430\u044f \u043d\u043e\u0432\u0438\u0437\u043d\u0430 \u0440\u0435\u043b\u0438\u0437\u0430).<\/p>\n<h3>MoVA vs MoE: \u0432 \u0447\u0435\u043c \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">MoE (\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439)<\/p>\n<\/th>\n<th>\n<p align=\"left\">MoVA<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0430\u044e\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">Feed-forward \u0441\u0435\u0442\u044c (FFN)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 attention<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0427\u0442\u043e \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0426\u0435\u043b\u044b\u0435 FFN-\u0431\u043b\u043e\u043a\u0438 (\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b-\u0441\u0435\u0442\u0438)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u0435\/\u0441\u043b\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Router<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u044b\u0447\u043d\u043e softmax + top-k, \u0447\u0430\u0441\u0442\u043e \u0441 shared expert<\/p>\n<\/td>\n<td>\n<p align=\"left\">Sigmoid-\u0440\u043e\u0443\u0442\u0435\u0440 + softplus post-gate (\u0432 K2-Horizon)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f (\u0432\u043b\u0438\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 FFN)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043a\u0430\u043a \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0441 FlashAttention \u0438 GQA<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0427\u0442\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043b\u043e\u0442\u043d\u044b\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">Attention \u0446\u0435\u043b\u0438\u043a\u043e\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">Q\/K-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0438 \u0441\u0430\u043c softmax \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0426\u0435\u043b\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u043c\u043a\u043e\u0441\u0442\u044c FFN \u0431\u0435\u0437 \u0440\u043e\u0441\u0442\u0430 compute<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u043c\u043a\u043e\u0441\u0442\u044c value-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 attention \u0431\u0435\u0437 \u0440\u043e\u0441\u0442\u0430 compute<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0434\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">DeepSeek-V3, Qwen3-MoE, Mixtral, Nemotron \u0438 \u0434\u0440.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 K2-Horizon-MoVA-36B-A4B (IFM)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>MoVA \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 MoE, \u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0435\u0433\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u0412 K2-Horizon-MoVA-36B-A4B \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432\u043c\u0435\u0441\u0442\u0435: 100 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 FFN (top-8+1) \u0438 64 value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u0432 attention (top-4). \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (4B) \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043e\u0431\u043e\u0438\u0445 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432.<\/p>\n<p>VRAM-\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 (36B \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c), \u0430 \u043d\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 (4B), MoVA \u043d\u0435 \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u0435\u0442 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a \u043f\u0430\u043c\u044f\u0442\u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 MoE \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0412\u044b\u0438\u0433\u0440\u044b\u0448 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (FLOPs\/\u0442\u043e\u043a\u0435\u043d) \u0438, \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435, \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043f\u0440\u0438 \u0442\u043e\u043c \u0436\u0435 \u043e\u0431\u044a\u0435\u043c\u0435 VRAM\/RAM.<\/p>\n<h3>\u0410\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u0440\u043d\u0438 MoVA<\/h3>\n<p>IFM \u043d\u0435 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043d\u0430\u0443\u0447\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c MoVA, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0431\u043b\u043e\u0433-\u043f\u043e\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u043e \u0441\u0430\u043c\u0430 \u0438\u0434\u0435\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430 MoE-\u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430 \u0432 attention \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u043d\u043e\u0432\u0430\u044f, \u0438 \u043d\u0430 arXiv \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u044f\u043c\u044b\u0445 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 MoVA.<\/p>\n<p>\u0411\u043b\u0438\u0436\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 SwitchHead [<a href=\"https:\/\/arxiv.org\/abs\/2312.07987\" rel=\"noopener nofollow\">2<\/a>]. \u042d\u0442\u043e MoE-\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0434\u043b\u044f attention, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u043c\u0435\u043d\u043d\u043e value- \u0438 output-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0443\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 query \u0438 key \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e, \u0442.\u0435. \u0440\u043e\u0432\u043d\u043e \u0442\u0430 \u0436\u0435 \u0441\u0445\u0435\u043c\u0430, \u0447\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0432 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 K2-Horizon. <\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0430\u0432\u0442\u043e\u0440\u044b SwitchHead \u044f\u0432\u043d\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043d\u0435\u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e (non-competitive) \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u0443\u044e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u0440\u043e\u0443\u0442\u0435\u0440\u0430 \u0432\u043c\u0435\u0441\u0442\u043e softmax, \u0438 \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0435\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438, \u0438 \u044d\u0442\u043e \u0436\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 (sigmoid-\u0440\u043e\u0443\u0442\u0435\u0440) \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u0443\u0435\u0442 \u0438 \u0432 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0438 MoVA. <\/p>\n<p>SwitchHead \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0442\u043e\u0433\u043e \u0436\u0435 perplexity, \u0447\u0442\u043e \u0438 baseline-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 MoE-FFN \u0432 \u0435\u0434\u0438\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u201cSwitchAll\u201d (\u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 IFM \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 K2-Horizon-MoVA-36B-A4B).<\/p>\n<p>\u0418\u0434\u0435\u044e \u0441 MoE-\u0441\u043b\u043e\u044f\u043c\u0438 \u0438 \u0432 attention, \u0438 \u0432 FFN \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u043d\u043e \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 Universal Transformer, \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 MoEUT [<a href=\"https:\/\/arxiv.org\/html\/2405.16039v1\" rel=\"noopener nofollow\">3<\/a>] \u0438 \u0442\u0430\u043c \u043f\u0440\u044f\u043c\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u201cSwitchHead \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u0435\u0442 value- \u0438 output-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 MoE\u201d, \u0441 \u043e\u0434\u043d\u0438\u043c query\/key \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0443 \u0438 N \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 value\/output \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 K2-Horizon \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0438\u043c\u044f MoVA.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, MoVA \u0443 IFM \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u043f\u043e \u0441\u0443\u0442\u0438, \u0434\u043e\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0439 \u0434\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 LLM (36B, \u0430 \u043d\u0435 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u0430\u043a \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 2023\u20132024 \u0433\u043e\u0434\u043e\u0432) \u0438 \u0441\u043e\u0432\u043c\u0435\u0449\u0435\u043d\u043d\u043e\u0439 \u0441 FFN-MoE \u0432\u0435\u0440\u0441\u0438\u0435\u0439 \u0438\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0438\u043c\u0435\u043d\u0430\u043c\u0438 (SwitchHead, MoA, MoSA, MoEUT, MoH). <\/p>\n<p>\u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u044f \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e, \u043d\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043f\u043e \u0434\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u044d\u0442\u043e\u0433\u043e \u0434\u043e \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u0443\u0440\u043e\u0432\u043d\u044f \u043d\u0430 36B-\u043c\u043e\u0434\u0435\u043b\u0438 \u0441 512K \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u0441 vLLM\/SGLang  \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0432\u043e \u0432 \u0440\u0435\u043b\u0438\u0437\u0435 K2-Horizon.<\/p>\n<h3>4B-\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u043e\u0448\u043b\u0430 550B-\u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0445\u0430\u0439\u043f\u0430: \u043f\u043e \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, K2-Horizon-MoVA-36B-A4B (4B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445) \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u0442 Nemotron 3 Ultra (MoE-\u043c\u043e\u0434\u0435\u043b\u044c \u0441 550B \u043e\u0431\u0449\u0438\u0445 \u0438 55B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432) \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445\/coding-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445: <strong>tau3-Banking<\/strong> (26.8 \u043f\u0440\u043e\u0442\u0438\u0432 14.2) \u0438 <strong>Terminal-Bench 2.1<\/strong> (58.6 \u043f\u0440\u043e\u0442\u0438\u0432 53.9). <\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 <strong>SWE-bench<\/strong>, \u043d\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0442\u043e \u0435\u0449\u0435 \u0440\u0430\u0437 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043e\u0431\u0445\u043e\u0434\u044f\u0442 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0449\u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<h3>\u0417\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e?<\/h3>\n<p>\u041f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0430\u043d\u043e\u043d\u0441\u0430 IFM, K2-Horizon-MoVA-36B-A4B \u043f\u0440\u0438 \u0442\u0435\u0445 \u0436\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u201c\u043b\u0438\u0448\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0438\u0436\u0435\u201d \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u0439 \u0436\u0435 \u043b\u0438\u043d\u0435\u0439\u043a\u0438 (Horizon-32B dense, 32B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0438\u0437 32B), \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u043b\u0438\u0448\u044c ~4B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d. <\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0446\u0435\u043b\u044c MoVA \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0432\u0437\u043e\u0439\u0442\u0438 dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0432\u0430\u043a\u0443\u0443\u043c\u0435, \u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c\u0441\u044f \u043a \u043d\u0438\u043c \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u0440\u0438 \u043a\u0440\u0430\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u0445 \u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435.<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, high reasoning effort:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"118\" width=\"118\">\n<p align=\"left\">\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">K2-Horizon-MoVA-36B-A4B (4B \u0430\u043a\u0442.)<\/p>\n<\/th>\n<th>\n<p align=\"left\">Nemotron 3 Ultra (55B \u0430\u043a\u0442., 550B \u0432\u0441\u0435\u0433\u043e)<\/p>\n<\/th>\n<th>\n<p align=\"left\">Nemotron 3 Super (12B \u0430\u043a\u0442.)<\/p>\n<\/th>\n<th>\n<p align=\"left\">G9v3-39A5B (5B \u0430\u043a\u0442.)<\/p>\n<\/th>\n<th>\n<p align=\"left\">Qwen3.6-35B-A3B (3B \u0430\u043a\u0442.)<\/p>\n<\/th>\n<th>\n<p align=\"left\">Muse Glimmer-30B (dense)<\/p>\n<\/th>\n<th>\n<p align=\"left\">Gemma 4 31B-it (dense)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"118\" width=\"118\">\n<p align=\"left\">tau3-Banking (agentic tool use)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>26.8<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">10.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">9.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.8<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"118\" width=\"118\">\n<p align=\"left\">Terminal-Bench 2.1 (\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>58.6<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">53.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">38.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">44.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">51.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">43.4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"118\" width=\"118\">\n<p align=\"left\">SciCode<\/p>\n<\/td>\n<td>\n<p align=\"left\">38.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">39.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">36.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">34.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">35.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>43.6<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">43.4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"118\" width=\"118\">\n<p align=\"left\">GPQA Diamond<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>86.7<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">80.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">84.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">83.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"118\" width=\"118\">\n<p align=\"left\">Humanity\u2019s Last Exam<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>28.4<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">20.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"118\" width=\"118\">\n<p align=\"left\">AA-LCR (long-context reasoning)<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">62.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>80.0<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">68.3<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u0434\u043b\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 sparse-\u043c\u043e\u0434\u0435\u043b\u0438: \u043d\u0430 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0438 tool-use \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 (tau3-Banking, Terminal-Bench) \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435\u0445 \u0441\u043e\u043f\u0435\u0440\u043d\u0438\u043a\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044f 550B-\u043c\u043e\u0434\u0435\u043b\u044c Nemotron 3 Ultra \u0441 55B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <\/p>\n<p>\u0410 \u0432\u043e\u0442 \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f\u0445 (GPQA, HLE, CritPt) \u0438 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043e\u043d\u0430 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043a\u0430\u043a \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u043c MoE, \u0442\u0430\u043a \u0438 dense-\u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0440\u043e\u0434\u0435 Muse Glimmer-30B. \u042d\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e: \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435\/coding-\u0437\u0430\u0434\u0430\u0447\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043b\u043e\u0436\u0430\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u043d\u0438\u043d\u0433 \u0441 RL \u0438 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u043c\u0438, \u0430 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u201c\u0441\u044b\u0440\u043e\u0439\u201d \u0435\u043c\u043a\u043e\u0441\u0442\u0438. <\/p>\n<p>MoVA \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0431\u044e\u0434\u0436\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0430 \u043d\u0435 \u043e\u0431\u043e\u0433\u043d\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<h3>\u041a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c<\/h3>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f vLLM \u0438 SGLang, \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/huggingface.co\/IFM\/K2-Horizon-MoVA-36B-A4B-GGUF\" rel=\"noopener nofollow\">GGUF-\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438<\/a> \u0434\u043b\u044f llama.cpp.<\/p>\n<p>vLLM:<\/p>\n<pre><code class=\"bash\">vllm serve IFM\/K2-Horizon-MoVA-36B-A4B \\  --tensor-parallel-size 2 \\  --trust-remote-code \\  --dtype bfloat16 \\  --max-model-len 131072 \\  --enable-expert-parallel \\  --reasoning-parser k2_horizon \\  --enable-auto-tool-choice \\  --tool-call-parser k2_horizon<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>SGLang:<\/p>\n<pre><code class=\"bash\">python3 -m sglang.launch_server \\  --model-path IFM\/K2-Horizon-MoVA-36B-A4B \\  --dtype bfloat16 \\  --attention-backend fa3 \\  --reasoning-parser k2_horizon \\  --tool-call-parser k2_horizon<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0442\u0440\u0438 \u0443\u0440\u043e\u0432\u043d\u044f \u201c\u0443\u0441\u0438\u043b\u0438\u044f \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f\u201d \u0447\u0435\u0440\u0435\u0437 <code>reasoning_effort<\/code> (<code>high<\/code>\/<code>medium<\/code>\/<code>low<\/code>).<\/p>\n<p>\u0412\u0430\u0436\u043d\u044b\u0439 \u043d\u044e\u0430\u043d\u0441 \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430: \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 <code>k2_horizon<\/code>\/<code>K2HorizonForCausalLM<\/code> \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438 <strong>\u0435\u0449\u0435 \u043d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0440\u0435\u043b\u0438\u0437 llama.cpp<\/strong>. PR \u0441 \u0435\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0431\u044b\u043b \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u043e \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f 2026. <\/p>\n<p>Community-\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u0432 GGUF \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 \u0444\u043e\u0440\u043a <code>MBZUAI-IFM\/llama.cpp<\/code> (\u0432\u0435\u0442\u043a\u0430 <code>model\/K2Horizon<\/code>), \u0438 \u0431\u0435\u0437 \u043d\u0435\u0433\u043e \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 GGUF-\u0444\u0430\u0439\u043b\u044b \u043f\u043e\u043f\u0440\u043e\u0441\u0442\u0443 \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0438\u0441\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c\u0438 \u0441\u0431\u043e\u0440\u043a\u0430\u043c\u0438 llama.cpp, LM Studio \u0438 \u0442.\u043f. \u042d\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u0438\u043c\u0435\u0442\u044c \u0432 \u0432\u0438\u0434\u0443, \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u0430 \u043d\u0435 \u0447\u0435\u0440\u0435\u0437 vLLM\/SGLang.<\/p>\n<p>\u041f\u043e \u043f\u0430\u043c\u044f\u0442\u0438: \u0432\u0441\u0435 36B \u0432\u0435\u0441\u043e\u0432 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f (FLOPs \u043d\u0430 \u0442\u043e\u043a\u0435\u043d), \u0430 \u043d\u0435 \u043c\u0435\u0441\u0442\u043e \u0432 \u043f\u0430\u043c\u044f\u0442\u0438. \u0413\u0440\u0443\u0431\u044b\u0435 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u044b \u043f\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0432\u0435\u0440\u0441\u0438\u044f\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u0432\u0430\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440 \u0432\u0435\u0441\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BF16<\/p>\n<\/td>\n<td>\n<p align=\"left\">~70 \u0413\u0438\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\u00d748GB GPU (A6000\/H100 80GB)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Q8_0<\/p>\n<\/td>\n<td>\n<p align=\"left\">~35 \u0413\u0438\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\u00d724GB GPU<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Q5_K_M<\/p>\n<\/td>\n<td>\n<p align=\"left\">~23 \u0413\u0438\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u00d724GB GPU \u0438\u043b\u0438 2\u00d716GB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Q4_K_M<\/p>\n<\/td>\n<td>\n<p align=\"left\">~20 \u0413\u0438\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u00d724GB GPU<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Q3_K_M<\/p>\n<\/td>\n<td>\n<p align=\"left\">~15 \u0413\u0438\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u00d716GB GPU<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Q2_K\/IQ2_M<\/p>\n<\/td>\n<td>\n<p align=\"left\">~10\u201311 \u0413\u0438\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u00d712GB GPU<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Q8_0 \u0441 \u0443\u0440\u0435\u0437\u0430\u043d\u043d\u044b\u043c \u0441 512\u041a \u0434\u043e 252\u041a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0438 KV \u043a\u0435\u0448\u0435\u043c \u0432 Q8 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 48Gb.<\/p>\n<h3>\u0427\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u043e\u0431\u0437\u043e\u0440\u044b<\/h3>\n<p>\u041f\u043b\u044e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e:<\/p>\n<ul>\n<li>\n<p>\u042d\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0441\u0442\u0438 \u0440\u0435\u043b\u0438\u0437 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442: \u043f\u043e\u043c\u0438\u043c\u043e \u0432\u0435\u0441\u043e\u0432 \u043e\u0431\u0435\u0449\u0430\u043d\u044b \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b, \u0434\u0430\u043d\u043d\u044b\u0435\/\u0440\u0435\u0446\u0435\u043f\u0442\u044b \u0438\u0445 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f, \u043a\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0435 \u043b\u043e\u0433\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043d\u043e \u0438 \u0434\u043b\u044f 375B.<\/p>\n<\/li>\n<li>\n<p>MoVA \u043f\u0440\u0438\u0432\u043d\u043e\u0441\u0438\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434, \u0430 \u043d\u0435 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0439 \u0440\u0435\u0431\u0440\u0435\u043d\u0434\u0438\u043d\u0433 MoE.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0438\u043d\u0435\u0439\u043a\u0438 (0.9B\u20137B) \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442 \u043d\u043e\u0432\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432 \u0441\u0432\u043e\u0438\u0445 \u0432\u0435\u0441\u043e\u0432\u044b\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 7B \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 70.6 \u043d\u0430 SWE-bench Verified, \u0447\u0442\u043e \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432\u044b\u0448\u0435 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b \u0438 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>\u042d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0435\u043b\u0438\u0437\u0430 \u043d\u0435 \u0443\u0441\u043f\u0435\u043b\u0430 \u0437\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 <code>k2_horizon<\/code> \u0432 \u0430\u043f\u0441\u0442\u0440\u0438\u043c\u0435 llama.cpp \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442, <a href=\"https:\/\/huggingface.co\/IFM\/K2-Horizon-MoVA-36B-A4B-GGUF\" rel=\"noopener nofollow\">\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 GGUF<\/a> \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0441\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0431\u0435\u0437 \u043f\u0430\u0442\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0444\u043e\u0440\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0430\u043c\u0430 IFM \u043f\u0440\u043e\u0432\u0435\u043b\u0430 \u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u0430\u0443\u0434\u0438\u0442 \u043d\u0430 reward hacking \u0434\u043b\u044f \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u043e\u0439 375B-A23B \u043d\u0430 TerminalBench 2.1: \u0438\u0437 500 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 24 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u0432 10 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0431\u044b\u043b\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u044b \u043d\u0435\u0447\u0435\u0441\u0442\u043d\u044b\u043c\u0438, \u0442.\u043a. \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u043b\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u043d\u0430 GitHub, \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438\u0437 \u0447\u0443\u0436\u043e\u0433\u043e \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f, \u0438\u043d\u0441\u043f\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043d\u0435\u0430\u043d\u043e\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b\/\u0441\u0435\u043a\u0440\u0435\u0442\u044b \u0438\u043b\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0441\u0430\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0445\u0430\u0440\u043d\u0435\u0441\u0441. \u041f\u043e\u0441\u043b\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 accuracy \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 70.2% \u0434\u043e 66.9% (~3.4 \u043f.\u043f.).<\/p>\n<\/li>\n<\/ul>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>MoVA \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 \u0438\u0434\u0435\u0438 MoE: \u0435\u0441\u043b\u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c (router + top-k \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432) \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f FFN, \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043a value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f\u043c \u0432\u043d\u0443\u0442\u0440\u0438 attention. <\/p>\n<p>\u041d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 K2-Horizon-MoVA-36B-A4B \u044d\u0442\u043e \u0434\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442: \u043c\u043e\u0434\u0435\u043b\u044c \u0441 4B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432\u0440\u043e\u0432\u0435\u043d\u044c \u0438\u043b\u0438 \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u0435 MoE (\u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e 550B) \u043d\u0430 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0438 coding-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445, \u0445\u043e\u0442\u044f \u0438 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043d\u0430 \u0447\u0438\u0441\u0442\u043e \u043d\u0430\u0443\u0447\u043d\u043e\u043c \u0440\u0438\u0437\u043e\u043d\u0438\u043d\u0433\u0435 \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435. <\/p>\n<p>\u0414\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438 \u043d\u0435\u0434\u043e\u0440\u043e\u0433\u043e\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f (36B \u0432\u0435\u0441\u043e\u0432 \u043f\u043e\u043c\u0435\u0449\u0430\u044e\u0442\u0441\u044f \u0432 1\u20132 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435\/\u043f\u043e\u043b\u0443\u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 GPU \u043f\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438) \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0440\u0435\u043b\u0438\u0437\u043e\u0432 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430, \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u0432\u044b \u0433\u043e\u0442\u043e\u0432\u044b \u043c\u0438\u0440\u0438\u0442\u044c\u0441\u044f \u0441 \u0435\u0449\u0435 \u043d\u0435 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u0437\u0440\u0435\u043b\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0432 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u0432\u0440\u043e\u0434\u0435 llama.cpp \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<h3>References<\/h3>\n<ol>\n<li>\n<p><a href=\"https:\/\/ifm.ai\/blog\/k2\/\" rel=\"noopener nofollow\">Introducing K2 Horizon: Frontier Performance, Radically Open, IFM (2026)<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2312.07987\" rel=\"noopener nofollow\">SwitchHead: Accelerating Transformers with Mixture-of-Experts Attention, arXiv (2024)<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/html\/2405.16039v1\" rel=\"noopener nofollow\">MoEUT: Mixture-of-Experts Universal Transformers, arXiv (2024)<\/a><\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1080564\/\">https:\/\/habr.com\/ru\/articles\/1080564\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>3 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 Institute of Foundation Models (IFM, \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 MBZUAI) \u0432\u044b\u043a\u0430\u0442\u0438\u043b \u0437\u043e\u043e\u043f\u0430\u0440\u043a \u0438\u0437 \u0448\u0435\u0441\u0442\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 K2 Horizon \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u0442 0.9B \u0434\u043e 375B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0430\u043c\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043c\u043e\u0434\u0435\u043b\u044c, K2-Horizon-MoVA-36B-A4B: 36 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043a\u043e\u043b\u043e 4 \u043c\u043b\u0440\u0434. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0442\u043e MoE-\u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432 \u043d\u0435\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u044f\u043c\u043e \u0432 attention \u0441\u043b\u043e\u0438 \u0438 \u043d\u0430\u0437\u0432\u0430\u043b\u0438 \u044d\u0442\u043e MoVA, Mixture-of-Value Attention.\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 MoE\u0412 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u043b\u043e\u043a \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 attention-\u0441\u043b\u043e\u044f \u0438 FFN (feed-forward network). FFN, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0441\u0430\u043c\u0430\u044f \u0442\u044f\u0436\u0435\u043b\u0430\u044f \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0447\u0430\u0441\u0442\u044c \u0431\u043b\u043e\u043a\u0430, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0435 \u043e\u0431\u044b\u0447\u043d\u043e \u201c\u0440\u0430\u0437\u0440\u0435\u0436\u0430\u044e\u0442\u201d \u0432 \u0434\u0443\u0445\u0435 Mixture-of-Experts:\u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e FFN \u0434\u0435\u0440\u0436\u0430\u0442 \u043f\u0443\u043b \u0438\u0437 N \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (\u0442\u043e\u0436\u0435 FFN, \u043d\u043e \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435)router (\u043e\u0431\u044b\u0447\u043d\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 + softmax\/sigmoid) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0440\u0435\u0448\u0430\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 top-k \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0438\u0437 N \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0432\u044b\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u0447\u0430\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u0434\u0438\u043d \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e shared experts, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b \u0432\u0441\u0435\u0433\u0434\u0430, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0435\u0440\u044f\u0442\u044c \u201c\u043e\u0431\u0449\u0438\u0435\u201d \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u0440\u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438\u041c\u043e\u0434\u0435\u043b\u044c \u0445\u0440\u0430\u043d\u0438\u0442 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0443\u044e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u0435\u043c\u043a\u043e\u0441\u0442\u044c (\u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432), \u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u201ctotal params\u201d \u0438 \u201cactive params\u201d \u0432 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u0445 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 open-weight \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (DeepSeek-V3, Qwen3-MoE, Nemotron \u0438 \u0442.\u0434.). \u0412\u0441\u044f \u044d\u0442\u0430 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c MoE \u0436\u0438\u0432\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 FFN. Attention \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043b\u043e\u0442\u043d\u044b\u043c\u0438 Q\/K\/V-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f\u043c\u0438, \u0438 \u0441\u0430\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.\u0427\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 MoVAMoVA \u0431\u0435\u0440\u0435\u0442 \u0442\u0443 \u0436\u0435 \u0441\u0430\u043c\u0443\u044e \u0438\u0434\u0435\u044e: router + top-k \u0438\u0437 \u043f\u0443\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 + \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435, \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442 \u0435\u0435 \u0432\u043d\u0443\u0442\u0440\u044c attention, \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439 [1].\u041b\u043e\u0433\u0438\u043a\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f:Q \u0438 K \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e (\u043f\u043b\u043e\u0442\u043d\u043e) \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.V (value) \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 MoE: \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0439 value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0443 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u043f\u0443\u043b value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 per-token router \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 top-k \u0438\u0437 \u043d\u0438\u0445.\u041f\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u043c\u0443 \u0440\u0430\u0437\u0431\u043e\u0440\u0443 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (\u043d\u0430\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u043e\u0442 \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Qwen3MoE) \u0432 K2-Horizon-MoVA-36B-A4B \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u044b\u0439 \u0440\u043e\u0443\u0442\u0435\u0440 \u0432 attention, \u0441 post-gate \u0447\u0435\u0440\u0435\u0437 softplus, \u0430 \u043d\u0435 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0439 softmax-top-k, \u043a\u0430\u043a \u0432 FFN-\u0440\u043e\u0443\u0442\u0435\u0440\u0430\u0445.\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 value-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430 \u0441 FlashAttention \u0438 GQA, \u0442.\u0435. \u044d\u0442\u043e \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0441\u0431\u043e\u043a\u0443, \u0430 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f.\u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u201c\u043a\u0430\u043a\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043d\u0435\u0441\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u043f\u043e\u0442\u043e\u043a\u0443\u201d, \u0438 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e-\u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0439, \u0447\u0435\u043c \u0435\u0434\u0438\u043d\u0430\u044f \u043d\u0430 \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f. \u0420\u0430\u0437 FFN \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 MoE, \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e value-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0438\u0433\u0440\u0430\u0442\u044c \u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c Q\/K, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0435 \u0437\u0430 \u201c\u043a\u0443\u0434\u0430 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u201d, \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u044b\u043c\u0438 \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c\u0438.\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0432 \u0441\u0430\u043c\u043e\u0439 K2-Horizon-MoVA-36B-A4B \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430k2_horizon (K2HorizonForCausalLM)\u0412\u0441\u0435\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432~36 \u043c\u043b\u0440\u0434 (37.44B \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432)\u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d~4 \u043c\u043b\u0440\u0434 (5.95B \u043f\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0443 vLLM Recipes \u0441 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438)\u0421\u043b\u043e\u0435\u043248 (3 \u201c\u0432\u0435\u0434\u0443\u0449\u0438\u0445\u201d \u043f\u043b\u043e\u0442\u043d\u044b\u0445 + 45 MoE-\u0441\u043b\u043e\u0435\u0432)Hidden size2560MoE \u0432 FFN100 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, top-8 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 + 1 shared expert \u043d\u0430 \u0441\u043b\u043e\u0439MoVA \u0432 attention64 value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430, top-4 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043d\u0430 \u0441\u043b\u043e\u0439 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, sigmoid-\u0440\u043e\u0443\u0442\u0435\u0440 + softplus post-gate\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442512K (524 288 \u0442\u043e\u043a\u0435\u043d\u043e\u0432)\u042d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438\u043d\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u0435\u0441\u0430 (\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 input\/output)\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432BF16\u041b\u0438\u0446\u0435\u043d\u0437\u0438\u044fApache 2.0\u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0432\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u044f \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e: MoE \u0432 FFN (\u043a\u0430\u043a \u0443 \u0432\u0441\u0435\u0445), \u0438 MoVA \u0432 value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f\u0445 attention (\u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u0430\u044f \u043d\u043e\u0432\u0438\u0437\u043d\u0430 \u0440\u0435\u043b\u0438\u0437\u0430).MoVA vs MoE: \u0432 \u0447\u0435\u043c \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430MoE (\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439)MoVA\u0413\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0430\u044e\u0442Feed-forward \u0441\u0435\u0442\u044c (FFN)Value-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 attention\u0427\u0442\u043e \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f\u0426\u0435\u043b\u044b\u0435 FFN-\u0431\u043b\u043e\u043a\u0438 (\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b-\u0441\u0435\u0442\u0438)Value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u0435\/\u0441\u043b\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044fRouter\u041e\u0431\u044b\u0447\u043d\u043e softmax + top-k, \u0447\u0430\u0441\u0442\u043e \u0441 shared expertSigmoid-\u0440\u043e\u0443\u0442\u0435\u0440 + softplus post-gate (\u0432 K2-Horizon)\u0421\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f (\u0432\u043b\u0438\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 FFN)\u0421\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043a\u0430\u043a \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0441 FlashAttention \u0438 GQA\u0427\u0442\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043b\u043e\u0442\u043d\u044b\u043cAttention \u0446\u0435\u043b\u0438\u043a\u043e\u043cQ\/K-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0438 \u0441\u0430\u043c softmax \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u0426\u0435\u043b\u044c\u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u043c\u043a\u043e\u0441\u0442\u044c FFN \u0431\u0435\u0437 \u0440\u043e\u0441\u0442\u0430 compute\u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u043c\u043a\u043e\u0441\u0442\u044c value-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 attention \u0431\u0435\u0437 \u0440\u043e\u0441\u0442\u0430 compute\u0413\u0434\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044fDeepSeek-V3, Qwen3-MoE, Mixtral, Nemotron \u0438 \u0434\u0440.\u041f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 K2-Horizon-MoVA-36B-A4B (IFM)MoVA \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 MoE, \u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0435\u0433\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u0412 K2-Horizon-MoVA-36B-A4B \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432\u043c\u0435\u0441\u0442\u0435: 100 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 FFN (top-8+1) \u0438 64 value-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u0432 attention (top-4). \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (4B) \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043e\u0431\u043e\u0438\u0445 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432.VRAM-\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 (36B \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c), \u0430 \u043d\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 (4B), MoVA \u043d\u0435 \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u0435\u0442 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a \u043f\u0430\u043c\u044f\u0442\u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 MoE \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0412\u044b\u0438\u0433\u0440\u044b\u0448 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (FLOPs\/\u0442\u043e\u043a\u0435\u043d) \u0438, \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435, \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043f\u0440\u0438 \u0442\u043e\u043c \u0436\u0435 \u043e\u0431\u044a\u0435\u043c\u0435 VRAM\/RAM.\u0410\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u0440\u043d\u0438 MoVAIFM \u043d\u0435 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043d\u0430\u0443\u0447\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c MoVA, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0431\u043b\u043e\u0433-\u043f\u043e\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u043e \u0441\u0430\u043c\u0430 \u0438\u0434\u0435\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430 MoE-\u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430 \u0432 attention \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u043d\u043e\u0432\u0430\u044f, \u0438 \u043d\u0430 arXiv \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u044f\u043c\u044b\u0445 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 MoVA.\u0411\u043b\u0438\u0436\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 SwitchHead [2]. \u042d\u0442\u043e MoE-\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0434\u043b\u044f attention, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u043c\u0435\u043d\u043d\u043e value- \u0438 output-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0443\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 query \u0438 key \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e, \u0442.\u0435. \u0440\u043e\u0432\u043d\u043e \u0442\u0430 \u0436\u0435 \u0441\u0445\u0435\u043c\u0430, \u0447\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0432 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 K2-Horizon. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0430\u0432\u0442\u043e\u0440\u044b SwitchHead \u044f\u0432\u043d\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043d\u0435\u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e (non-competitive) \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u0443\u044e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u0440\u043e\u0443\u0442\u0435\u0440\u0430 \u0432\u043c\u0435\u0441\u0442\u043e softmax, \u0438 \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0435\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438, \u0438 \u044d\u0442\u043e \u0436\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 (sigmoid-\u0440\u043e\u0443\u0442\u0435\u0440) \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u0443\u0435\u0442 \u0438 \u0432 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0438 MoVA. SwitchHead \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0442\u043e\u0433\u043e \u0436\u0435 perplexity, \u0447\u0442\u043e \u0438 baseline-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 MoE-FFN \u0432 \u0435\u0434\u0438\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u201cSwitchAll\u201d (\u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 IFM \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 K2-Horizon-MoVA-36B-A4B).\u0418\u0434\u0435\u044e \u0441 MoE-\u0441\u043b\u043e\u044f\u043c\u0438 \u0438 \u0432 attention, \u0438 \u0432 FFN \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u043d\u043e \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 Universal Transformer, \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 MoEUT [3] \u0438 \u0442\u0430\u043c \u043f\u0440\u044f\u043c\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u201cSwitchHead \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u0435\u0442 value- \u0438 output-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 MoE\u201d, \u0441 \u043e\u0434\u043d\u0438\u043c query\/key \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0443 \u0438 N \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 value\/output \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 K2-Horizon \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0438\u043c\u044f MoVA.\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, MoVA \u0443 IFM \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u043f\u043e \u0441\u0443\u0442\u0438, \u0434\u043e\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0439 \u0434\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 LLM (36B, \u0430 \u043d\u0435 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u0430\u043a \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 2023\u20132024 \u0433\u043e\u0434\u043e\u0432) \u0438 \u0441\u043e\u0432\u043c\u0435\u0449\u0435\u043d\u043d\u043e\u0439 \u0441 FFN-MoE \u0432\u0435\u0440\u0441\u0438\u0435\u0439 \u0438\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0438\u043c\u0435\u043d\u0430\u043c\u0438 (SwitchHead, MoA, MoSA, MoEUT, MoH). \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u044f \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e, \u043d\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043f\u043e \u0434\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u044d\u0442\u043e\u0433\u043e \u0434\u043e \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u0443\u0440\u043e\u0432\u043d\u044f \u043d\u0430 36B-\u043c\u043e\u0434\u0435\u043b\u0438 \u0441 512K \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u0441 vLLM\/SGLang  \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0432\u043e \u0432 \u0440\u0435\u043b\u0438\u0437\u0435 K2-Horizon.4B-\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u043e\u0448\u043b\u0430 550B-\u043c\u043e\u0434\u0435\u043b\u044c\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0445\u0430\u0439\u043f\u0430: \u043f\u043e \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, K2-Horizon-MoVA-36B-A4B (4B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445) \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u0442 Nemotron 3 Ultra (MoE-\u043c\u043e\u0434\u0435\u043b\u044c \u0441 550B \u043e\u0431\u0449\u0438\u0445 \u0438 55B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432) \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445\/coding-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445: tau3-Banking (26.8 \u043f\u0440\u043e\u0442\u0438\u0432 14.2) \u0438 Terminal-Bench 2.1 (58.6 \u043f\u0440\u043e\u0442\u0438\u0432 53.9). \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 SWE-bench, \u043d\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0442\u043e \u0435\u0449\u0435 \u0440\u0430\u0437 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043e\u0431\u0445\u043e\u0434\u044f\u0442 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0449\u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.\u0417\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e?\u041f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0430\u043d\u043e\u043d\u0441\u0430 IFM, K2-Horizon-MoVA-36B-A4B \u043f\u0440\u0438 \u0442\u0435\u0445 \u0436\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u201c\u043b\u0438\u0448\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0438\u0436\u0435\u201d \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u0439 \u0436\u0435 \u043b\u0438\u043d\u0435\u0439\u043a\u0438 (Horizon-32B dense, 32B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0438\u0437 32B), \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u043b\u0438\u0448\u044c ~4B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0446\u0435\u043b\u044c MoVA \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0432\u0437\u043e\u0439\u0442\u0438 dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0432\u0430\u043a\u0443\u0443\u043c\u0435, \u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c\u0441\u044f \u043a \u043d\u0438\u043c \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u0440\u0438 \u043a\u0440\u0430\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u0445 \u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435.\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, high reasoning effort:\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043aK2-Horizon-MoVA-36B-A4B (4B \u0430\u043a\u0442.)Nemotron 3 Ultra (55B \u0430\u043a\u0442., 550B \u0432\u0441\u0435\u0433\u043e)Nemotron 3 Super (12B \u0430\u043a\u0442.)G9v3-39A5B (5B \u0430\u043a\u0442.)Qwen3.6-35B-A3B (3B \u0430\u043a\u0442.)Muse Glimmer-30B (dense)Gemma 4 31B-it (dense)tau3-Banking (agentic tool use)26.814.210.322.19.323.514.8Terminal-Bench 2.1 (\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b)58.653.938.632.644.951.743.4SciCode38.939.936.034.035.843.643.4GPQA Diamond80.886.780.080.584.183.585.7Humanity\u2019s Last Exam25.228.420.817.522.222.023.6AA-LCR (long-context reasoning)66.371.060.362.066.780.068.3\u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u0434\u043b\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 sparse-\u043c\u043e\u0434\u0435\u043b\u0438: \u043d\u0430 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0438 tool-use \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 (tau3-Banking, Terminal-Bench) \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435\u0445 \u0441\u043e\u043f\u0435\u0440\u043d\u0438\u043a\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044f 550B-\u043c\u043e\u0434\u0435\u043b\u044c Nemotron 3 Ultra \u0441 55B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0410 \u0432\u043e\u0442 \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f\u0445 (GPQA, HLE, CritPt) \u0438 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043e\u043d\u0430 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043a\u0430\u043a \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u043c MoE, \u0442\u0430\u043a \u0438 dense-\u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0440\u043e\u0434\u0435 Muse Glimmer-30B. \u042d\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e: \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435\/coding-\u0437\u0430\u0434\u0430\u0447\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043b\u043e\u0436\u0430\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u043d\u0438\u043d\u0433 \u0441 RL \u0438 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u043c\u0438, \u0430 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u201c\u0441\u044b\u0440\u043e\u0439\u201d \u0435\u043c\u043a\u043e\u0441\u0442\u0438. MoVA \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0431\u044e\u0434\u0436\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0430 \u043d\u0435 \u043e\u0431\u043e\u0433\u043d\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.\u041a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f vLLM \u0438 SGLang, \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 GGUF-\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u0434\u043b\u044f llama.cpp.vLLM:vllm serve IFM\/K2-Horizon-MoVA-36B-A4B \\  &#8212;tensor-parallel-size 2 \\  &#8212;trust-remote-code \\  &#8212;dtype bfloat16 \\  &#8212;max-model-len 131072 \\  &#8212;enable-expert-parallel \\  &#8212;reasoning-parser k2_horizon \\  &#8212;enable-auto-tool-choice \\  &#8212;tool-call-parser k2_horizonSGLang:python3 -m sglang.launch_server \\  &#8212;model-path IFM\/K2-Horizon-MoVA-36B-A4B \\  &#8212;dtype bfloat16 \\  &#8212;attention-backend fa3 \\  &#8212;reasoning-parser k2_horizon \\  &#8212;tool-call-parser k2_horizon\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0442\u0440\u0438 \u0443\u0440\u043e\u0432\u043d\u044f \u201c\u0443\u0441\u0438\u043b\u0438\u044f \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f\u201d \u0447\u0435\u0440\u0435\u0437 reasoning_effort (high\/medium\/low).\u0412\u0430\u0436\u043d\u044b\u0439 \u043d\u044e\u0430\u043d\u0441 \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430: \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 k2_horizon\/K2HorizonForCausalLM \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438 \u0435\u0449\u0435 \u043d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0440\u0435\u043b\u0438\u0437 llama.cpp. PR \u0441 \u0435\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0431\u044b\u043b \u0432&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-494140","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/494140","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=494140"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/494140\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=494140"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=494140"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=494140"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}