{"id":500638,"date":"2026-10-28T12:14:17","date_gmt":"2026-10-28T09:14:17","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=500638"},"modified":"2026-10-28T12:14:17","modified_gmt":"2026-10-28T09:14:17","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=500638","title":{"rendered":"\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 RWKV-7: \u0447\u0442\u043e \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h3>1. \u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 RWKV \u0441 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u043d\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043d\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0434\u043b\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u044f \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 <code>rwkv-quant<\/code>, \u0441\u0436\u0438\u043c\u0430\u044e\u0449\u0438\u0439 RWKV-7 \u0434\u0432\u0443\u043c\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u043c\u0438, \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u0438 \u00ab\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044f\u00bb. \u041f\u0440\u0435\u0441\u0435\u0442 COMPRESSION \u043d\u0430 2.9B \u043f\u043e\u043a\u0430\u0437\u0430\u043b +4.04% \u043f\u043e \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 +2.85% \u043d\u0430 1.5B. \u0412\u044b\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0437\u0430\u043d\u044f\u043b\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0440\u0438\u0432\u0435\u043b\u043e \u043a \u043d\u0430\u0431\u043e\u0440\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430.<\/p>\n<p><strong>\u0412\u043a\u043b\u0430\u0434 \u0440\u0430\u0431\u043e\u0442\u044b.<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u041b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c.<\/strong> \u0420\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 KL \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u043c\u0430\u0442\u0440\u0438\u0446 (leave-one-out) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 2.9B \u0432\u0440\u0435\u0434 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0435\u043d \u0432 \u0434\u0432\u0443\u0445 \u043c\u0435\u0441\u0442\u0430\u0445: \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 (<code>o_proj<\/code> \u0441\u043b\u043e\u044f 0) \u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430. \u0425\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432 bf16 \u0441\u0442\u043e\u0438\u0442 0.5% \u0444\u0430\u0439\u043b\u0430 \u0438 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 39% KL; \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441 5 \u043d\u0430 6 \u0431\u0438\u0442 \u0441\u0442\u043e\u0438\u0442 1.1% \u0444\u0430\u0439\u043b\u0430 \u0438 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0435\u0449\u0451 22% (\u0440\u0430\u0437\u0434\u0435\u043b 4).<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u044c.<\/strong> \u0412\u0445\u043e\u0434 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0435\u0441\u0451\u0442 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b, \u043d\u043e \u0441\u0430\u043c\u0430 \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432\u0440\u0435\u0434 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u0443 7.2B \u043e\u043d\u0430 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0430 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0445, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0445. \u042f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e, \u0447\u0442\u043e \u0442\u0440\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0438 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442: \u043e\u0448\u0438\u0431\u043a\u0430 \u0432 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435 (\u0440\u0430\u0437\u0434\u0435\u043b 5).<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438<\/strong> \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0443 \u00ab\u0432\u0440\u0435\u0434 \u043d\u0430 \u0431\u0430\u0439\u0442\u00bb, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0432 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b (\u043e\u0434\u043d\u0430 \u0446\u0435\u043d\u0430 \u0431\u0430\u0439\u0442\u0430 \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u044f), \u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u0437\u0430 \u043f\u0440\u043e\u0445\u043e\u0434 (\u0440\u0430\u0437\u0434\u0435\u043b 6).<\/p>\n<\/li>\n<li>\n<p><strong>GPTQ \u043d\u0430 \u0441\u0435\u0442\u043a\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430<\/strong> \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0430, \u044f\u0434\u0435\u0440 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0444\u0430\u0439\u043b\u0430; \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u0438 \u0447\u0442\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0438 GPTQ \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e (\u0440\u0430\u0437\u0434\u0435\u043b 7). GPTQ \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0435 REDUCTION \u043e\u043f\u0438\u0441\u0430\u043d \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 8.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0432\u043e\u0434\u043a\u0430 \u043f\u043e \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c<\/strong> \u043e\u0442 0.1B \u0434\u043e 13.3B \u0441 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u043c\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u043d\u044b\u043c \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u043e\u043c \u043f\u043e \u043e\u043a\u043d\u0430\u043c (\u0440\u0430\u0437\u0434\u0435\u043b 9), \u0438 <strong>\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 GGUF \u0438 MLX<\/strong> \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0444\u0430\u0439\u043b\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 10).<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0445\u043e\u0434\u043a\u0438.<\/strong> \u0423\u0442\u0435\u0447\u043a\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0432 \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438 \u0435\u0451 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043c\u0430\u0441\u0448\u0442\u0430\u0431 (\u0440\u0430\u0437\u0434\u0435\u043b 3.4); \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 GPTQ \u043c\u0435\u0436\u0434\u0443 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u0435\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 7.6); \u0447\u0435\u0442\u044b\u0440\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438\u0441\u043a\u0430\u0437\u0438\u0432\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f (\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 A).<\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h3>2. \u0421\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b<\/h3>\n<p><strong>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043a\u043e\u0440\u0440\u0435\u043a\u0446\u0438\u0435\u0439 \u043e\u0448\u0438\u0431\u043a\u0438.<\/strong> GPTQ (Frantar et al., 2022) \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0438 \u0440\u0430\u0437\u043d\u043e\u0441\u0438\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u0430 \u0435\u0449\u0451 \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439. \u042f \u043f\u0435\u0440\u0435\u043d\u043e\u0448\u0443 GPTQ \u043d\u0430 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 (\u0440\u0430\u0437\u0434\u0435\u043b 7) \u0438 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 \u0442\u0438\u043f\u0430 Q6_K (\u0440\u0430\u0437\u0434\u0435\u043b 8). \u0424\u043e\u0440\u043c\u0430\u0442 \u0444\u0430\u0439\u043b\u0430 \u0438 \u044f\u0434\u0440\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f.<\/p>\n<p><strong>\u0412\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c.<\/strong> AWQ \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 imatrix \u0432 llama.cpp \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043a\u0430\u043d\u0430\u043b\u044b. \u0412 \u043c\u043e\u0451\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 (AW, <em>activation-weighted<\/em>) \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0432\u044b\u0431\u043e\u0440 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0438 \u0441\u0434\u0432\u0438\u0433\u0430 \u0433\u0440\u0443\u043f\u043f \u0432\u0435\u0441\u043e\u0432; \u0431\u0435\u0437 \u043d\u0435\u0451 4 \u0431\u0438\u0442\u0430 \u0432 <code>o_proj<\/code> \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u044e\u0442 2.9B (\u0440\u0430\u0437\u0434\u0435\u043b 4.3).<\/p>\n<p><strong>\u0412\u044b\u0431\u0440\u043e\u0441\u044b \u0438 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438.<\/strong> Dettmers et al. (2022, LLM.int8()) \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0432\u044b\u0431\u0440\u043e\u0441\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u0430\u043d\u0430\u043b\u0430\u0445 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0438 \u0438\u0445 \u0440\u043e\u043b\u044c \u0432 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432. Sun et al. (2024) \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u00ab\u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438\u00bb \u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u044b\u0445 \u0432 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0445 \u043a\u0430\u043d\u0430\u043b\u0430\u0445. \u041c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 <code>o_proj<\/code> \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 4.3) \u2014 \u043f\u0440\u044f\u043c\u0430\u044f \u0440\u043e\u0434\u043d\u044f \u044d\u0442\u0438\u0445 \u044f\u0432\u043b\u0435\u043d\u0438\u0439, \u043d\u043e, \u043a\u0430\u043a \u044f \u043f\u043e\u043a\u0430\u0436\u0443, \u0435\u0433\u043e \u0441\u0438\u043b\u0430 \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u0434.<\/p>\n<hr\/>\n<h3>3. \u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0430<\/h3>\n<h4>3.1 \u041c\u043e\u0434\u0435\u043b\u0438<\/h4>\n<p>\u0418\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043a\u0430 RWKV-7 \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432. \u0414\u043b\u044f \u0438\u0437\u043e\u043b\u044f\u0446\u0438\u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0442\u0440\u0438 \u043f\u0430\u0440\u044b: 0.4B\/1.5B (\u043e\u0434\u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430, \u0448\u0438\u0440\u0438\u043d\u0430 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435), 2.9B\/7.2B (\u043e\u0434\u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 L=32, \u0448\u0438\u0440\u0438\u043d\u0430 2560 \u043f\u0440\u043e\u0442\u0438\u0432 4096) \u0438 7.2B\/13.3B (\u043e\u0434\u043d\u0430 \u0448\u0438\u0440\u0438\u043d\u0430, \u0433\u043b\u0443\u0431\u0438\u043d\u0430 32 \u043f\u0440\u043e\u0442\u0438\u0432 61).<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0441\u043b\u043e\u0451\u0432 L<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0448\u0438\u0440\u0438\u043d\u0430 D<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0433\u043e\u043b\u043e\u0432 H=D\/64<\/p>\n<\/th>\n<th>\n<p align=\"left\">D\/L<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0441\u0435\u0440\u0438\u0438 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">12<\/p>\n<\/td>\n<td>\n<p align=\"left\">768<\/p>\n<\/td>\n<td>\n<p align=\"left\">12<\/p>\n<\/td>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<td>\n<p align=\"left\">g1d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">24<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024<\/p>\n<\/td>\n<td>\n<p align=\"left\">16<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">g1d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">24<\/p>\n<\/td>\n<td>\n<p align=\"left\">2048<\/p>\n<\/td>\n<td>\n<p align=\"left\">32<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">g1d, g1h, g1j<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">32<\/p>\n<\/td>\n<td>\n<p align=\"left\">2560<\/p>\n<\/td>\n<td>\n<p align=\"left\">40<\/p>\n<\/td>\n<td>\n<p align=\"left\">80<\/p>\n<\/td>\n<td>\n<p align=\"left\">g1h, g1j<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">32<\/p>\n<\/td>\n<td>\n<p align=\"left\">4096<\/p>\n<\/td>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<td>\n<p align=\"left\">128<\/p>\n<\/td>\n<td>\n<p align=\"left\">g1j<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">61<\/p>\n<\/td>\n<td>\n<p align=\"left\">4096<\/p>\n<\/td>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">g1j<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b (\u0440\u0430\u0437\u0434\u0435\u043b\u044b 9\u201310) \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0441\u0435\u0440\u0438\u0438 g1j; \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 4) \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 g1d \u0438 g1h, \u044d\u0442\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<h4>3.2 \u041f\u0440\u0435\u0441\u0435\u0442\u044b<\/h4>\n<p>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 <code>rwkv-quant<\/code> \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0432\u0443\u043c\u044f \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u043c\u0438.<\/p>\n<ul>\n<li>\n<p><strong>REDUCTION<\/strong> (\u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c). \u041f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 (<code>proj<\/code>) \u2014 8 \u0431\u0438\u0442, \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 <code>sym_aw<\/code> \u0441 \u0433\u0440\u0443\u043f\u043f\u043e\u0439 16 \u0432\u0435\u0441\u043e\u0432; <code>cmix<\/code> (\u043a\u0430\u043d\u0430\u043b\u043e\u0432\u043e\u0435 \u043c\u0438\u043a\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, FFN) \u2014 6 \u0431\u0438\u0442; \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438 \u0433\u043e\u043b\u043e\u0432\u0430 \u2014 8 \u0431\u0438\u0442; LoRA-\u0432\u0435\u0442\u043a\u0438 <code>w<\/code>, <code>a<\/code>, <code>v<\/code> \u2014 6 \u0431\u0438\u0442, <code>g<\/code> \u2014 8 \u0431\u0438\u0442 (\u0431\u043b\u043e\u043a 64). \u0421\u0436\u0430\u0442\u0438\u0435 \u043e\u043a\u043e\u043b\u043e 2.1x.<\/p>\n<\/li>\n<li>\n<p><strong>COMPRESSION<\/strong> (\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u044b\u0439). \u041f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u2014 4 \u0431\u0438\u0442\u0430, \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 <code>asym_sb6_aw<\/code> \u0441 \u0433\u0440\u0443\u043f\u043f\u043e\u0439 32; <code>cmix<\/code> \u2014 4 \u0431\u0438\u0442\u0430, \u043d\u043e <code>ffn.key<\/code> \u2014 5 \u0431\u0438\u0442; \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u2014 6 \u0431\u0438\u0442 (\u0432 \u0440\u0430\u043d\u043d\u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445 5, \u0440\u0430\u0437\u0434\u0435\u043b 4.5); \u0433\u043e\u043b\u043e\u0432\u0430 \u2014 5 \u0431\u0438\u0442; LoRA-\u0432\u0435\u0442\u043a\u0438 \u0442\u0435 \u0436\u0435, \u0447\u0442\u043e \u0432 REDUCTION. \u0421\u0436\u0430\u0442\u0438\u0435 \u043e\u043a\u043e\u043b\u043e 3.1x.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430\u0445 \u0441 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u043c <code>_aw<\/code> \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u0441\u0434\u0432\u0438\u0433 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0438\u0441\u043a\u043e\u043c, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u043c \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0443 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043a\u0430\u043d\u0430\u043b\u0430 E[x\u00b2], \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435, \u0441\u043d\u044f\u0442\u043e\u0439 \u043d\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u0420\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 REDUCTION \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f (\u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u043d\u0430 \u0431\u043b\u043e\u043a \u0438\u0437 16 \u0432\u0435\u0441\u043e\u0432, \u0431\u0435\u0437 \u0441\u0434\u0432\u0438\u0433\u0430; int8-\u043a\u043e\u0434\u044b \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432 \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0434\u043d\u043e\u0433\u043e fp16-\u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f \u043d\u0430 \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a \u0438\u0437 16 \u0431\u043b\u043e\u043a\u043e\u0432; 6 \u0438\u043b\u0438 8 \u0431\u0438\u0442). \u0420\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 COMPRESSION (<code>sb6<\/code>) \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0430\u044f: \u0431\u043b\u043e\u043a \u0438\u0437 32 \u0432\u0435\u0441\u043e\u0432, \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a \u0438\u0437 8 \u0431\u043b\u043e\u043a\u043e\u0432 (256 \u043a\u043e\u043b\u043e\u043d\u043e\u043a); \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u0441\u0434\u0432\u0438\u0433 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f 6-\u0431\u0438\u0442\u043d\u044b\u043c\u0438 \u043a\u043e\u0434\u0430\u043c\u0438 <code>qs<\/code> \u0438 <code>qm<\/code> \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0432\u0443\u0445 fp16-\u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439 \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a\u0430.<\/p>\n<p>\u041d\u0435 \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0438 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 bf16 \u043c\u0430\u043b\u044b\u0435 \u043f\u043e\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b (<code>k_k<\/code>, <code>k_a<\/code>, <code>r_k<\/code>), \u043d\u043e\u0440\u043c\u044b \u0438 bias LoRA-\u0432\u0435\u0442\u043e\u043a. \u0423 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043d\u0435\u0442 (\u0435\u0451 \u0432\u0445\u043e\u0434 \u2014 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u0441\u0435\u0442\u043a\u0430 \u0432 \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u0437 AW-\u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f; GPTQ \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u0435\u0442.<\/p>\n<p>\u0414\u0432\u0435 \u043f\u0440\u0430\u0432\u043a\u0438, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 4, \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 COMPRESSION: \u0432\u044b\u0445\u043e\u0434\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f (<code>o_proj<\/code> \u0441\u043b\u043e\u044f 0) \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432 bf16, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u2014 \u0432 6 \u0431\u0438\u0442\u0430\u0445. \u041f\u0440\u0435\u0441\u0435\u0442 \u0431\u0435\u0437 \u044d\u0442\u0438\u0445 \u043f\u0440\u0430\u0432\u043e\u043a \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u00ab\u0431\u0430\u0437\u043e\u0432\u044b\u043c\u00bb (\u0432 \u043b\u043e\u0433\u0430\u0445 <code>compression_nol0<\/code>).<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/fc\/25\/d4\/fc25d496437897e3bd4ff41832b5d351.png\" alt=\"\u0420\u0438\u0441. 1. \u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 quantize(): \u043e\u0442 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 bf16 \u0434\u043e \u0444\u0430\u0439\u043b\u0430 .rwkvq\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/fc\/25\/d4\/fc25d496437897e3bd4ff41832b5d351.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/fc\/25\/d4\/fc25d496437897e3bd4ff41832b5d351.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 1. \u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 quantize(): \u043e\u0442 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 bf16 \u0434\u043e \u0444\u0430\u0439\u043b\u0430 .rwkvq<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 1. \u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 <\/em><code><em>quantize()<\/em><\/code><em>. \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 E[x\u00b2] \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u043e\u043c, GPTQ \u0438 \u0437\u0430\u043f\u0438\u0441\u044c\u044e; \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0444\u0438\u0433 (<\/em><code><em>bits_overrides<\/em><\/code><em>). \u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b; \u0444\u043e\u0440\u043c\u0430\u0442 \u0438 \u0431\u044d\u043a\u0435\u043d\u0434 \u043e\u0442\u0434\u0435\u043b\u0435\u043d\u044b \u043e\u0442 \u043d\u0435\u0451.<\/em><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/0c\/f6\/42\/0cf6426d8bac5d20e8f35b7d13de70be.png\" alt=\"\u0420\u0438\u0441. 2. \u0411\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0431\u043b\u043e\u043a\u0430 RWKV-7 \u0432 \u0434\u0432\u0443\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/0c\/f6\/42\/0cf6426d8bac5d20e8f35b7d13de70be.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/0c\/f6\/42\/0cf6426d8bac5d20e8f35b7d13de70be.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 2. \u0411\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0431\u043b\u043e\u043a\u0430 RWKV-7 \u0432 \u0434\u0432\u0443\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 2. \u0411\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446 \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445 REDUCTION \u0438 COMPRESSION. \u0412\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0434\u0432\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438: <\/em><code><em>o_proj<\/em><\/code><em> \u0441\u043b\u043e\u044f 0 \u0432 bf16 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043d\u0430 6 \u0431\u0438\u0442 \u0432\u043c\u0435\u0441\u0442\u043e 5 (\u0440\u0430\u0437\u0434\u0435\u043b 4). \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 (\u0440\u0430\u0437\u0434\u0435\u043b 6) \u043c\u0435\u043d\u044f\u0435\u0442 \u0431\u0438\u0442\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043f\u043e\u0432\u0435\u0440\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 COMPRESSION.<\/em><\/p>\n<h4>3.3 \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043f\u0440\u0438\u0431\u043e\u0440\u044b<\/h4>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 <strong>KL(bf16\u2016\u043a\u0432\u0430\u043d\u0442)<\/strong> \u043d\u0430 \u0442\u043e\u043a\u0435\u043d: \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0443 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f bf16-\u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0435 \u043b\u043e\u0433\u0438\u0442\u044b \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0432 fp32 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a (5.09 \u0413\u0411 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c). \u0412\u0442\u043e\u0440\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438 (<strong>\u0394ppl<\/strong>, \u0432 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445) \u043a bf16-\u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u0430\u043b\u043e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u043e\u043c (\u043e\u0446\u0435\u043d\u043a\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u043f\u043b\u0435\u0447\u0430), \u0430 \u043d\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0444\u0430\u0439\u043b\u0430.<\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043f\u0443\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0438 \u0438\u0445 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 KL \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0431\u043e\u0440\u0430:<\/p>\n<ul>\n<li>\n<p><strong>fake-\u043f\u0443\u0442\u044c<\/strong> (PyTorch): \u0432\u0435\u0441\u0430 \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0438 \u0442\u0443\u0442 \u0436\u0435 \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432 \u043f\u043b\u043e\u0442\u043d\u044b\u0445 \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u0445; \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 Mac (MPS) \u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 (CUDA);<\/p>\n<\/li>\n<li>\n<p><strong>\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c<\/strong> (MLX): \u043a\u043e\u0434\u044b \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u044b \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 <code>.rwkvq<\/code> \u0438 \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f Metal-\u044f\u0434\u0440\u0430\u043c\u0438; \u0442\u043e\u043b\u044c\u043a\u043e Mac.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0438\u0431\u043e\u0440\u044b \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u0432 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0438 C.<\/p>\n<h4>3.4 \u041e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0438 \u0443\u0442\u0435\u0447\u043a\u0430<\/h4>\n<p><strong>\u041f\u0435\u0440\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440<\/strong> <code>eval_corpus_multiling<\/code> (en\/ru\/sr, 38 \u043e\u043a\u043e\u043d \u043f\u043e 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445 4\u20136 \u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043b\u0435\u0436\u0430\u0449\u0438\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043f\u0430\u043a\u0435\u0442\u0430: \u043e\u0431\u0449\u0438\u0445 16-\u0433\u0440\u0430\u043c\u043c 100%. \u0414\u043b\u044f \u043c\u0435\u0442\u043e\u0434\u0430, \u043a\u0430\u043b\u0438\u0431\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043f\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0443, \u044d\u0442\u043e \u043f\u0440\u044f\u043c\u0430\u044f \u0443\u0442\u0435\u0447\u043a\u0430.<\/p>\n<p>\u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u0443\u0442\u0435\u0447\u043a\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d \u043d\u0430 GPTQ (\u0440\u0430\u0437\u0434\u0435\u043b 7), \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043f\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0443 \u043f\u0430\u043a\u0435\u0442\u0430: \u043d\u0430 1.5B \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e KL \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u221261.8% \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0438 \u221227.1% \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u0442\u0435\u0447\u043a\u0430 \u0437\u0430\u0432\u044b\u0441\u0438\u043b\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 2.3 \u0440\u0430\u0437\u0430. \u041a\u043e\u0434 \u0447\u0438\u0441\u0442 (\u043e\u0434\u043d\u043e \u043e\u043a\u043d\u043e \u0438\u0437 24 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0431\u0449\u0438\u0435 16-\u0433\u0440\u0430\u043c\u043c\u044b, 0.03%).<\/p>\n<p>AW-\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0437\u0430\u0434\u0435\u0442\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e: \u0435\u0451 23 \u043e\u043a\u043d\u0430 \u043f\u043e 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 23.9% 16-\u0433\u0440\u0430\u043c\u043c \u0441\u0442\u0430\u0440\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0438 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0441 13 \u0438\u0437 38 \u0435\u0433\u043e \u043e\u043a\u043e\u043d. \u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 4 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0435, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 AW \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043b\u0430 \u043f\u043e\u0438\u0441\u043a; \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 AW, \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0430\u0441\u044c. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 (\u043a\u0430\u043a\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430, \u043a\u0430\u043a\u043e\u0439 \u0431\u0438\u0442) \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435, \u0438 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u043e\u0431\u0430 \u043f\u043b\u0435\u0447\u0430. \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0443\u0442\u0435\u0447\u043a\u043e\u0439 \u043d\u0435 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f: \u043d\u0430 1.5B \u221216.1% \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0438 \u221217.6% \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u043c.<\/p>\n<p><strong>\u0427\u0438\u0441\u0442\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b<\/strong> (\u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u043e\u0431\u0449\u0435\u0439 16-\u0433\u0440\u0430\u043c\u043c\u044b \u043d\u0438 \u0441 \u043e\u0434\u043d\u0438\u043c \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u043c):<\/p>\n<ul>\n<li>\n<p><code>eval_text_heldout<\/code>: \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f en\/ru\/sr, \u043f\u043e 12 \u043e\u043a\u043e\u043d \u043d\u0430 \u044f\u0437\u044b\u043a (36 \u043e\u043a\u043e\u043d);<\/p>\n<\/li>\n<li>\n<p><code>eval_code_heldout<\/code>: 24 \u043e\u043a\u043d\u0430 Python\/Swift (\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0439 \u043d\u0430\u0431\u043e\u0440);<\/p>\n<\/li>\n<li>\n<p><code>eval_code_open<\/code>: 48 \u043e\u043a\u043e\u043d (24 Python, 24 Swift) \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432 \u0430\u0432\u0442\u043e\u0440\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u043e: \u043b\u044e\u0431\u043e\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043c\u0435\u0440\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445, \u0438 \u043f\u0435\u0440\u0435\u0434 \u0437\u0430\u043c\u0435\u0440\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 16-\u0433\u0440\u0430\u043c\u043c \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e. \u0420\u0430\u0437\u0434\u0435\u043b\u044b 4\u20135 \u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u043f\u043e\u0440\u043e\u0433\u0430 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 6.3 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u044b \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 (\u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 6.3 \u043e\u043a\u043d\u0430 \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0432 \u0432\u044b\u0431\u043e\u0440\u0435, \u043d\u043e \u043b\u0435\u0436\u0430\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430); \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 6.4. \u0420\u0430\u0437\u0434\u0435\u043b\u044b 7\u201310 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u0442\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b.<\/p>\n<h4>3.5 \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430<\/h4>\n<p>\u0414\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f <strong>\u043f\u0430\u0440\u043d\u044b\u043c \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u043e\u043c \u043f\u043e \u043e\u043a\u043d\u0430\u043c<\/strong> (20 000 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432, \u043e\u043a\u043d\u0430 \u0440\u0435\u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u043f\u043b\u0435\u0447). \u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u0447\u0443\u0436\u0438\u043c\u0438 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u043c\u0438 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439 KL. \u0423 KL \u043f\u043e\u043b\u0443\u0448\u0438\u0440\u0438\u043d\u0430 95%-\u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 7\u201312% \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430 \u0441\u0430\u043c\u043e\u0433\u043e GPTQ \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0441 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c \u043e\u043a\u043e\u043d \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 (\u0440\u0430\u0437\u0434\u0435\u043b 7.6).<\/p>\n<hr\/>\n<h3>4. \u0413\u0434\u0435 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/h3>\n<blockquote>\n<p><strong>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043e \u043d\u0430\u0431\u043e\u0440\u0430\u0445.<\/strong> \u0418\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u0432 4 \u0438 5 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 (\u0440\u0430\u0437\u0434\u0435\u043b 3.4), \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0435\u043c\u0441\u044f \u0441 AW-\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0439. \u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u044b \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 AW; \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u0438 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435. \u0412\u0441\u0435 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b (\u0440\u0430\u0437\u0434\u0435\u043b\u044b 6.4\u201310) \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0443\u0436\u0435 \u0441 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u0430\u0432\u043a\u0430\u043c\u0438 \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0435.<\/p>\n<\/blockquote>\n<p>\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043f\u043e\u0447\u0435\u043c\u0443 COMPRESSION \u043d\u0430 2.9B \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043d\u0430 1.5B (+4.04% \u043f\u0440\u043e\u0442\u0438\u0432 +2.85% \u043f\u043e ppl)?<\/p>\n<h4>4.1 \u0420\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u043c\u0430\u0442\u0440\u0438\u0446<\/h4>\n<p>\u0412\u043a\u043b\u0430\u0434 \u0433\u0440\u0443\u043f\u043f\u044b \u043c\u0430\u0442\u0440\u0438\u0446 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043c leave-one-out: \u0432\u043a\u043b\u0430\u0434 = KL(\u0432\u0441\u0451 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043e) \u2212 KL(\u0432\u0441\u0451, \u043a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b). \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u0441\u0435\u0440\u0438\u0438 g1h, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c (Mac, MLX):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0433\u0440\u0443\u043f\u043f\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">1.5B: KL (\u0434\u043e\u043b\u044f)<\/p>\n<\/th>\n<th>\n<p align=\"left\">1.5B: ppl, \u043f.\u043f.<\/p>\n<\/th>\n<th>\n<p align=\"left\">2.9B: KL (\u0434\u043e\u043b\u044f)<\/p>\n<\/th>\n<th>\n<p align=\"left\">2.9B: ppl, \u043f.\u043f.<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>o_proj<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00578 (16%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.64<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.02368 (46%)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>1.82<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>cmix.value<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01317 (37%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.99<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01035 (20%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.63<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00120 (3%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.07<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.00874 (17%)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.83<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>cmix.key<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00442 (12%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.43<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00400 (8%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.36<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0433\u043e\u043b\u043e\u0432\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00440 (12%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.39<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00310 (6%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.36<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>att.value<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00443 (12%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.37<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00378 (7%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.52<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>r<\/code>, <code>k<\/code>, LoRA<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22644%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22640.08<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22642%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22640.12<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u0443\u043c\u043c\u0430 \u0432\u043a\u043b\u0430\u0434\u043e\u0432 \u0440\u0430\u0432\u043d\u0430 101% \u0438 107%, \u0442\u043e \u0435\u0441\u0442\u044c \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u0447\u0442\u0438 \u0430\u0434\u0434\u0438\u0442\u0438\u0432\u043d\u044b. \u041d\u0430 2.9B \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u0433\u0440\u0443\u043f\u043f\u044b: <code>o_proj<\/code> (46% \u0432\u0441\u0435\u0433\u043e KL) \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 (17%); \u043d\u0430 1.5B \u0438\u0445 \u0432\u043a\u043b\u0430\u0434 \u0441\u043a\u0440\u043e\u043c\u043d\u044b\u0439 (16% \u0438 3%), \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0434\u0430\u0451\u0442 <code>cmix.value<\/code>.<\/p>\n<p>\u0422\u043e\u0442 \u0436\u0435 \u0440\u0430\u0437\u0431\u043e\u0440 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 (fake-\u043f\u0443\u0442\u044c, \u0441\u0435\u0440\u0438\u044f g1j, \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043f\u0440\u0435\u0441\u0435\u0442 <code>compression_nol0<\/code>) \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u0443:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0431\u0430\u0437\u043e\u0432\u044b\u0439 KL<\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>o_proj<\/code> \u0441\u043b\u043e\u044f 0<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u0435\u0441\u044c <code>o_proj<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433<\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>cmix.value<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0433\u043e\u043b\u043e\u0432\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.050962<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">13%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">29%<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.077513<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>39%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">45%<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>30%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.022984<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">13%<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">25%<\/p>\n<\/td>\n<td>\n<p align=\"left\">9.4%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/cf\/70\/68\/cf7068005df7b8e816ffd5801174d246.png\" alt=\"\u0420\u0438\u0441. 3. \u0414\u043e\u043b\u0438 \u043f\u043e\u0442\u0435\u0440\u044c KL \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u043c\u0430\u0442\u0440\u0438\u0446 \u043d\u0430 1.5B \u0438 2.9B\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/cf\/70\/68\/cf7068005df7b8e816ffd5801174d246.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/cf\/70\/68\/cf7068005df7b8e816ffd5801174d246.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 3. \u0414\u043e\u043b\u0438 \u043f\u043e\u0442\u0435\u0440\u044c KL \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u043c\u0430\u0442\u0440\u0438\u0446 \u043d\u0430 1.5B \u0438 2.9B<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 3. \u0414\u043e\u043b\u0438 \u043f\u043e\u0442\u0435\u0440\u044c KL \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u043c\u0430\u0442\u0440\u0438\u0446 (leave-one-out, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c, \u0441\u0435\u0440\u0438\u044f g1h), 1.5B \u0438 2.9B. \u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0432\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0430.<\/em><\/p>\n<h4>4.2 \u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430: o_proj \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f<\/h4>\n<p>\u041d\u0430 2.9B 85\u201386% \u0432\u043a\u043b\u0430\u0434\u0430 \u0432\u0441\u0435\u0439 \u0433\u0440\u0443\u043f\u043f\u044b <code>o_proj<\/code> \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u043e\u0434\u043d\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443: \u0432\u044b\u0445\u043e\u0434\u043d\u0443\u044e \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044e \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430. \u041f\u0440\u044f\u043c\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 (\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c, 2.9B, g1h) \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043f\u0440\u0435\u0441\u0435\u0442 \u0441 \u0435\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 <code>o_proj<\/code> \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u043b\u0435\u0447\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl<\/p>\n<\/th>\n<th>\n<p align=\"left\">en \/ ru \/ sr<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0444\u0430\u0439\u043b\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0431\u0430\u0437\u043e\u0432\u044b\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.052048<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.04%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.24 \/ +3.21 \/ +5.71<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>o_proj<\/strong><\/code><strong> \u0441\u043b\u043e\u044f 0 \u0432 bf16<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.031966<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+2.43%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.02 \/ +2.19 \/ +2.36<\/p>\n<\/td>\n<td>\n<p align=\"left\">+9.4 \u041c\u0411 (+0.5%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>o_proj<\/code> \u0441\u043b\u043e\u044f 31 \u0432 bf16<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.051512<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.07%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2248 \u0431\u0430\u0437\u043e\u0432\u044b\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">+9.4 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432\u0435\u0441\u044c <code>o_proj<\/code> \u0432 5 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.046043<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.54%<\/p>\n<\/td>\n<td>\n<p align=\"left\">ru \u0445\u0443\u0436\u0435: 3.21\u21923.44<\/p>\n<\/td>\n<td>\n<p align=\"left\">+26.2 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432\u0435\u0441\u044c <code>o_proj<\/code> \u0432 6 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.036305<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.89%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">+52.4 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0434\u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 2560\u00d72560 \u0432 bf16 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 85% \u0432\u043a\u043b\u0430\u0434\u0430 \u0433\u0440\u0443\u043f\u043f\u044b <code>o_proj<\/code> \u0437\u0430 0.5% \u0444\u0430\u0439\u043b\u0430 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434 <em>\u0432\u0441\u0435\u0433\u043e<\/em> <code>o_proj<\/code> \u0432 6 \u0431\u0438\u0442 \u0437\u0430 2.8% \u0444\u0430\u0439\u043b\u0430. \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0435 \u043f\u043b\u0435\u0447\u043e (\u0441\u043b\u043e\u0439 31) \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u043d\u0435 \u0434\u0430\u0451\u0442, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u043b\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u043d\u0443\u043b\u0435\u0432\u043e\u043c \u0441\u043b\u043e\u0435. \u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 2.9B \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435 1.5B: +2.43% \u043f\u0440\u043e\u0442\u0438\u0432 +2.85%.<\/p>\n<p>\u0422\u0430 \u0436\u0435 \u043f\u0440\u0430\u0432\u043a\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445 (\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u0440\u0435\u0441\u0435\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL: \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u2192 \u0441 \u043f\u0440\u0430\u0432\u043a\u043e\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0444\u0430\u0439\u043b\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.08960 \u2192 0.08279 (\u22127.6%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+8.68% \u2192 +8.01%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.8 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04965 \u2192 0.04891 (\u22121.5%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.31% \u2192 +4.28%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.5 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.03599 \u2192 0.03585 (\u22120.4%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.85% \u2192 +2.87%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+6.0 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.05205 \u2192 0.03197 (\u221239%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.04% \u2192 +2.43%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+9.4 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.4B \/ 1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.0 \/ +3.9 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.001635 \u2192 0.001573 (\u22123.8%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.08% \u2192 +0.06%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+6.1 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0417\u043d\u0430\u0447\u0438\u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u043d\u0430 0.1B \u0438 2.9B: \u043d\u0430 0.4B \u0438 1.5B \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043d\u0443\u043b\u044f. \u041f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430 \u043b\u0438\u0448\u044c \u0432 COMPRESSION \u043d\u0430 2.9B \u0438, \u0432 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438, \u043d\u0430 0.1B.<\/p>\n<h4>4.3 \u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c: \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 o_proj \u0441\u043b\u043e\u044f 0<\/h4>\n<p>\u0412\u0445\u043e\u0434 <code>o_proj<\/code> \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043d\u0435\u0441\u0451\u0442 \u00ab\u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b\u00bb: \u043e\u0434\u0438\u043d-\u0434\u0432\u0430 \u043a\u0430\u043d\u0430\u043b\u0430 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0443 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 E[x\u00b2].<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">max\/\u043c\u0435\u0434\u0438\u0430\u043d\u0430 E[x\u00b2]<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0434\u043e\u043b\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432 8 \u043a\u0430\u043d\u0430\u043b\u0430\u0445<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043d\u043e\u043c\u0435\u0440 \u043a\u0430\u043d\u0430\u043b\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B g1d<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 628<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.77<\/p>\n<\/td>\n<td>\n<p align=\"left\">112<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B g1d<\/p>\n<\/td>\n<td>\n<p align=\"left\">22 580<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.91<\/p>\n<\/td>\n<td>\n<p align=\"left\">53<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B g1d<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 245<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.46<\/p>\n<\/td>\n<td>\n<p align=\"left\">1202<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B g1h<\/p>\n<\/td>\n<td>\n<p align=\"left\">3 740<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.53<\/p>\n<\/td>\n<td>\n<p align=\"left\">1202<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B g1j<\/p>\n<\/td>\n<td>\n<p align=\"left\">4 227<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.54<\/p>\n<\/td>\n<td>\n<p align=\"left\">1202<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B g1h<\/p>\n<\/td>\n<td>\n<p align=\"left\">7 199 995<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.98<\/p>\n<\/td>\n<td>\n<p align=\"left\">517<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B g1j<\/p>\n<\/td>\n<td>\n<p align=\"left\">7 564 462<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.98<\/p>\n<\/td>\n<td>\n<p align=\"left\">517<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B g1j<\/p>\n<\/td>\n<td>\n<p align=\"left\">6 626 554<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.99<\/p>\n<\/td>\n<td>\n<p align=\"left\">160<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u043e\u043c\u0435\u0440 \u043a\u0430\u043d\u0430\u043b\u0430 <strong>\u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0443 \u0432\u0441\u0435\u0445 \u0441\u0435\u0440\u0438\u0439 \u043e\u0434\u043d\u043e\u0439 \u0448\u0438\u0440\u0438\u043d\u044b<\/strong>: 1202 \u0443 \u0442\u0440\u0451\u0445 \u0441\u0435\u0440\u0438\u0439 1.5B, 517 \u0443 \u0434\u0432\u0443\u0445 \u0441\u0435\u0440\u0438\u0439 2.9B. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u044d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0448\u0438\u0440\u0438\u043d\u044b \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u0430 \u043d\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e AW-\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0434\u0435\u0440\u0436\u0438\u0442 \u044d\u0442\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443, \u0432\u0438\u0434\u043d\u043e \u0438\u0437 \u043f\u043b\u0435\u0447\u0430 \u00ab<code>o4s<\/code>\u00bb: \u0442\u0435 \u0436\u0435 4 \u0431\u0438\u0442\u0430, \u043d\u043e \u043f\u043e\u0438\u0441\u043a \u0431\u0435\u0437 AW, \u0442\u043e\u043b\u044c\u043a\u043e \u0432 <code>o_proj<\/code>.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL: \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u2192 \u0431\u0435\u0437 AW<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.035992 \u2192 0.042974<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.85% \u2192 +3.57%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.052048 \u2192 <strong>0.340025<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.04% \u2192 <strong>+37.2%<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 2.9B AW \u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0451: \u0431\u0435\u0437 \u043d\u0435\u0451 4 \u0431\u0438\u0442\u0430 \u0432 <code>o_proj<\/code> \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<h4>4.4 \u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e 2.9B, \u0430 \u043d\u0435 \u00ab\u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00bb<\/h4>\n<p>\u041e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u00ab\u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f\u00bb \u0432 \u0446\u0435\u043b\u043e\u043c \u0432\u0435\u0440\u043d\u043e: \u043d\u0430 2.9B \u0432\u0441\u0435 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b (<code>r<\/code>, <code>k<\/code>, <code>v<\/code>, <code>cmix<\/code>, \u0433\u043e\u043b\u043e\u0432\u0430, LoRA) \u0443\u043d\u043e\u0441\u044f\u0442 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u043d\u0430 1.5B, \u0434\u0430\u0436\u0435 \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430\u0445. \u0412\u044b\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e <code>o_proj<\/code> \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 7.2B \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u0432\u044b\u0440\u0430\u0436\u0435\u043d \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0445 (99% \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432 \u0432\u043e\u0441\u044c\u043c\u0438 \u043a\u0430\u043d\u0430\u043b\u0430\u0445), \u0430 \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442\u0441\u044f \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0445: \u0431\u0430\u0437\u043e\u0432\u044b\u0439 KL 0.023 \u043f\u0440\u043e\u0442\u0438\u0432 0.078 \u0443 2.9B \u0438 0.051 \u0443 1.5B (\u043e\u0434\u043d\u0430 \u0441\u0435\u0440\u0438\u044f g1j, \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u0431\u043e\u0440), \u0438 \u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043b\u043e\u044f 0 \u0434\u0430\u0451\u0442 \u0442\u0430\u043c \u043b\u0438\u0448\u044c \u22123.9%. \u0417\u043d\u0430\u0447\u0438\u0442, \u0441\u0438\u043b\u0430 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u0432\u0440\u0435\u0434.<\/p>\n<p>\u041f\u0440\u044f\u043c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 \u0432\u0440\u0435\u0434\u0430 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442\u0441\u044f <em>\u0442\u043e\u043b\u044c\u043a\u043e<\/em> <code>o_proj<\/code> \u0441\u043b\u043e\u044f 0, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0432 bf16) \u043d\u0430 2.9B \u0438 7.2B:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">KL<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u2016\u0394x\u2016\/\u2016x\u2016 \u043d\u0430 \u0441\u043b\u043e\u0435 0<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0438\u043a \u043f\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.020290<\/p>\n<\/td>\n<td>\n<p align=\"left\">13%<\/p>\n<\/td>\n<td>\n<p align=\"left\">31% (\u0441\u043b\u043e\u0438 13\u201316)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.001427<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.7% (\u0441\u043b\u043e\u0439 13)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 14 \u0440\u0430\u0437 \u043f\u043e KL \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f <strong>\u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u043f\u0440\u044b\u0441\u043a\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043a<\/strong>, \u0430 \u043d\u0435 \u043f\u0440\u0438 \u0435\u0451 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0438: \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435 \u0432\u043d\u0438\u0437 \u043f\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u0443 \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u043b\u0438\u0437\u043a\u043e\u0435 (2.4x \u0438 2.0x \u043a \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u0441\u0435\u0442\u0438). \u042d\u0442\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u0438\u0442 \u043a \u0432\u043e\u043f\u0440\u043e\u0441\u0443, \u0447\u0435\u043c \u0432\u0440\u0435\u0434 \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f (\u0440\u0430\u0437\u0434\u0435\u043b 5).<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/ef\/57\/db\/ef57dba65e9e52eef1413b3aa3d077bf.png\" alt=\"\u0420\u0438\u0441. 4. \u0421\u0438\u043b\u0430 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 \u0438 \u0432\u0440\u0435\u0434 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f o_proj \u0441\u043b\u043e\u044f 0\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/ef\/57\/db\/ef57dba65e9e52eef1413b3aa3d077bf.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/ef\/57\/db\/ef57dba65e9e52eef1413b3aa3d077bf.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 4. \u0421\u0438\u043b\u0430 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 \u0438 \u0432\u0440\u0435\u0434 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f o_proj \u0441\u043b\u043e\u044f 0<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 4. \u0421\u0438\u043b\u0430 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 (max\/\u043c\u0435\u0434\u0438\u0430\u043d\u0430 E[x\u00b2]; \u0441\u0435\u0440\u0438\u0438 g1j) \u0438 \u0432\u0440\u0435\u0434 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e <\/em><code><em>o_proj<\/em><\/code><em> \u0441\u043b\u043e\u044f 0 \u043d\u0430 2.9B \u0438 7.2B. \u0421\u0438\u043b\u0430 \u043a\u0430\u043d\u0430\u043b\u0430 \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430, \u0432\u0440\u0435\u0434 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0432 14 \u0440\u0430\u0437.<\/em><\/p>\n<h4>4.5 \u0412\u0442\u043e\u0440\u043e\u0439 \u0430\u0434\u0440\u0435\u0441: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433<\/h4>\n<p>\u041d\u0430 2.9B \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0443\u043d\u043e\u0441\u0438\u0442 17% KL (\u0441\u0435\u0440\u0438\u044f g1h) \u0438 30% (g1j), \u043d\u0430 1.5B \u2014 3%. \u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0438\u0437 5 \u0431\u0438\u0442 \u0432 6 (\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c, \u043f\u043e\u0432\u0435\u0440\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0441 \u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0441\u043b\u043e\u044f 0):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl<\/p>\n<\/th>\n<th>\n<p align=\"left\">en \/ ru \/ sr<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0444\u0430\u0439\u043b\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, \u0431\u0430\u0437\u043e\u0432\u044b\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.031966<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.43%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.02 \/ +2.19 \/ +2.36<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>2.9B, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 6 \u0431\u0438\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.024885 (\u221222%)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+1.86%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.33 \/ +1.66 \/ +1.82<\/p>\n<\/td>\n<td>\n<p align=\"left\">+21.0 \u041c\u0411 (+1.13%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 bf16<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.024539 (\u221223%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.82%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">+220 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 6 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.034933 (\u22122.6%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.82%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0448\u0443\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">+16.8 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>6 \u0431\u0438\u0442 \u0437\u0430\u0431\u0438\u0440\u0430\u044e\u0442 95% \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0434\u0430\u0451\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 bf16, \u0432 \u0434\u0435\u0441\u044f\u0442\u044c \u0440\u0430\u0437 \u0434\u0435\u0448\u0435\u0432\u043b\u0435. \u0412\u043e\u0441\u0435\u043c\u044c \u0431\u0438\u0442 \u0434\u043b\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b: \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u0437\u043d\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e 4, 5 \u0438 6 \u0431\u0438\u0442. \u041e\u0431\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f\u0442 2.9B \u0441 +4.04% \u0434\u043e +1.86% \u0446\u0435\u043d\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1.6% \u0444\u0430\u0439\u043b\u0430.<\/p>\n<p><strong>\u0420\u0435\u0448\u0435\u043d\u0438\u0435: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 6 \u0431\u0438\u0442 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 COMPRESSION \u0432\u0441\u0435\u0433\u0434\u0430.<\/strong> \u041f\u0435\u0440\u0435\u0441\u0447\u0451\u0442 \u043f\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u043c \u0444\u0430\u0439\u043b\u0430\u043c (\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c, 38 \u043e\u043a\u043e\u043d, \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u0444\u0430\u0439\u043b \u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u043c \u0440\u044f\u0434\u043e\u043c):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl: \u0431\u044b\u043b\u043e \u2192 \u0441\u0442\u0430\u043b\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL: \u0431\u044b\u043b\u043e \u2192 \u0441\u0442\u0430\u043b\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394CE, 95% \u0414\u0418<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0444\u0430\u0439\u043b\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+8.00% \u2192 +7.50%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0828 \u2192 0.0780<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437\u043d\u0430\u0447\u0438\u043c\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">+6.3 \u041c\u0411 (+4.9%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.28% \u2192 +4.20%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0489 \u2192 0.0468<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432 \u0448\u0443\u043c\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">+8.4 \u041c\u0411 (+2.9%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.87% \u2192 +2.82%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0359 \u2192 0.0349<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432 \u0448\u0443\u043c\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">+16.8 \u041c\u0411 (+1.7%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.43% \u2192 +1.85%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0320 \u2192 0.0249<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437\u043d\u0430\u0447\u0438\u043c\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">+21.0 \u041c\u0411 (+1.1%)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0426\u0435\u043d\u0430 \u043f\u0440\u0430\u0432\u043a\u0438 \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0439\u0442\u044b \u0444\u0430\u0439\u043b\u0430: \u0432 COMPRESSION \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043b\u043e\u0442\u043d\u044b\u0439 fp16 (gather \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043b\u0438\u0448\u044c \u043a \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0439 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0435), \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u044b.<\/p>\n<h4>4.6 \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/h4>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u0435\u043a\u043e\u0434\u0430 2.9B \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0430 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0444\u0430\u0439\u043b\u0430\u0445, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043e\u0434\u043d\u0438\u043c \u043a\u043e\u0434\u043e\u043c \u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0435\u043c 0 (bf16 \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b), \u0441 \u0447\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c ABBA \u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0440\u0430\u0437\u043d\u0438\u0446\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0444\u0430\u0439\u043b \u0431\u0435\u0437 \u043f\u0440\u0430\u0432\u043a\u0438 \u043f\u0435\u0440\u0432\u044b\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.40 \u043c\u0441\/\u0442\u043e\u043a (\u22121.6%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0444\u0430\u0439\u043b \u0441 \u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u043f\u0435\u0440\u0432\u044b\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.52 \u043c\u0441\/\u0442\u043e\u043a (\u22122.2%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c A\/A<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.02 [\u22120.13; +0.10]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0424\u0430\u0439\u043b \u0441 bf16-\u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 \u043d\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0430 <strong>\u0431\u044b\u0441\u0442\u0440\u0435\u0435<\/strong>, \u0445\u043e\u0442\u044f \u0447\u0438\u0442\u0430\u0435\u0442 \u043d\u0430 9.4 \u041c\u0411 \u0431\u043e\u043b\u044c\u0448\u0435. \u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043d\u0435 \u0432\u044b\u044f\u0441\u043d\u0435\u043d: \u043e\u0434\u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u0434\u0430\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0438 \u044f \u043d\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u0412\u044b\u0432\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438: \u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043b\u043e\u044f 0 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n<hr\/>\n<h3>5. \u0427\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u0434 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b<\/h3>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b 4 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u0440\u0435\u0434 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u0435\u043d \u043c\u0435\u0436\u0434\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u0438 \u0447\u0442\u043e \u043e\u0434\u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0441 \u00ab\u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u043c\u00bb \u0432\u0445\u043e\u0434\u043e\u043c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u0430\u0436\u043d\u0435\u0435 \u0446\u0435\u043b\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b. \u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435, \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u0443\u044f \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u042f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0442\u0440\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043e\u0442\u0432\u0435\u0440\u0433\u043b\u0438.<\/p>\n<p><strong>\u041f\u0440\u0438\u0437\u043d\u0430\u043a 1: \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432\u0445\u043e\u0434\u0430.<\/strong> \u0414\u043e\u043b\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432 \u0432\u043e\u0441\u044c\u043c\u0438 \u043a\u0430\u043d\u0430\u043b\u0430\u0445 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u0434: 0.99 \u0443 7.2B (\u0432\u0440\u0435\u0434\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0442), 0.77 \u0443 0.1B (\u0432\u0440\u0435\u0434 \u0435\u0441\u0442\u044c), 0.91 \u0443 0.4B (\u0432\u0440\u0435\u0434\u0430 \u043d\u0435\u0442).<\/p>\n<p><strong>\u041f\u0440\u0438\u0437\u043d\u0430\u043a 2: \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0441\u043b\u043e\u044f<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{\\sum_c E[x_c^2]\\,\\lVert \\Delta W_c\\rVert^2}{\\sum_c E[x_c^2]\\,\\lVert W_c\\rVert^2}.\" alt=\"\\frac{\\sum_c E[x_c^2]\\,\\lVert \\Delta W_c\\rVert^2}{\\sum_c E[x_c^2]\\,\\lVert W_c\\rVert^2}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/360\/360a1128868979dc0e269b0d35e516c3.svg\" width=\"153\" height=\"47\" data-width=\"19.068\" data-height=\"5.883\" data-vertical-align=\"-2.376\" style=\"width: 19.068ex; height: 5.883ex; vertical-align: -2.376ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/360\/360a1128868979dc0e269b0d35e516c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/360\/360a1128868979dc0e269b0d35e516c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0423 \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043e\u043d\u0430 <strong>\u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0430\u044f<\/strong> \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u044f\u0442\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u0430: AW-\u043f\u043e\u0438\u0441\u043a \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0430 \u043d\u0435 \u0432\u0440\u0435\u0434.<\/p>\n<p><strong>\u041f\u0440\u0438\u0437\u043d\u0430\u043a 3: \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u043f\u0440\u044b\u0441\u043a\u0430<\/strong> \u2016(W\u2212\u0174)X\u2016\/\u2016WX\u2016 \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u0445. \u041d\u0430 2.9B \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0443 <code>ffn.value<\/code> \u0441\u043b\u043e\u0451\u0432 15\u201319 (0.16), \u0430 <code>o_proj<\/code> \u0441\u043b\u043e\u044f 0 \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0434\u0430\u0436\u0435 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u0434\u044e\u0436\u0438\u043d\u0443. \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c: \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 <em>\u0442\u043e\u043b\u044c\u043a\u043e<\/em> <code>blocks.15.ffn.value<\/code> \u0434\u0430\u0451\u0442 KL 0.000776 \u043f\u0440\u043e\u0442\u0438\u0432 0.020290 \u0443 <code>o_proj<\/code> \u0441\u043b\u043e\u044f 0, \u0442\u043e \u0435\u0441\u0442\u044c \u0432 26 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0440\u0435\u0434\u0430 \u043f\u0440\u0438 \u0432\u0447\u0435\u0442\u0432\u0435\u0440\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434.<\/strong> \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043d\u0435 \u043d\u0430 \u0442\u043e. \u0417\u043d\u0430\u0447\u0438\u043c\u0430 \u043e\u0448\u0438\u0431\u043a\u0430, \u0432\u043d\u0435\u0441\u0451\u043d\u043d\u0430\u044f <em>\u0432 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043a<\/em>, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043b\u043e\u0438 \u0435\u0451 \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u044e\u0442. \u0421\u043b\u0435\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u043b\u043e\u044f 15 \u0437\u0430\u0442\u0443\u0445\u0430\u0435\u0442 \u043f\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0435 (4.9% \u2192 2.2%), \u0430 \u0441\u043b\u0435\u0434 \u0441\u043b\u043e\u044f 0 \u0440\u0430\u0437\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f (13% \u2192 31%).<\/p>\n<p><strong>\u041f\u0440\u0438\u0437\u043d\u0430\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/strong> \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0434\u0441\u043b\u043e\u044f \u0432 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435 \u2016\u0394x\u2016\u00b2\/\u2016x\u2016\u00b2, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435 G \u044d\u0442\u043e\u0439 \u0442\u043e\u0447\u043a\u0438, \u0433\u0434\u0435 G \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043e \u043f\u0440\u044f\u043c\u043e: \u0448\u0443\u043c\u043e\u043c \u03b5 = 1% \u0432 \u0442\u0443 \u0436\u0435 \u0442\u043e\u0447\u043a\u0443 \u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c KL \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435. \u0420\u0430\u043d\u0433\u043e\u0432\u0430\u044f \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u043c \u0432\u0440\u0435\u0434\u043e\u043c (KL \u043f\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b): 0.977 (0.1B), 0.969 (1.5B), 0.920 (2.9B); \u0432\u0435\u0440\u0445\u043d\u0438\u0435 \u0442\u0440\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430 2.9B \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442. \u0421\u043b\u0430\u0431\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430: \u0432\u043a\u043b\u0430\u0434 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0447\u0435\u0440\u0435\u0437 \u0442\u043e\u0447\u043a\u0443 x\u2080 \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0451\u043d (\u0438\u0437\u043e\u0442\u0440\u043e\u043f\u043d\u044b\u0439 \u0448\u0443\u043c \u043d\u0435 \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443), \u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441\u043b\u043e\u044f 0 \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0435\u043d\u044b (<code>v_first<\/code> \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f).<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u044d\u0442\u043e\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435 \u043d\u0443\u0436\u0435\u043d. \u041f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u043b\u0430\u0442\u0438\u0442 \u0437\u0430 <em>\u0431\u0430\u0439\u0442<\/em> (\u0440\u0430\u0437\u0434\u0435\u043b 6), \u0438 \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u0447\u0435\u0441\u0442\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u0434\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b: \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443, \u0447\u0442\u043e \u043f\u043e \u0446\u0435\u043d\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e \u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f G (2L+1 \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u0432).<\/p>\n<hr\/>\n<h3>6. \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438: \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u00ab\u0432\u0440\u0435\u0434 \u043d\u0430 \u0431\u0430\u0439\u0442\u00bb<\/h3>\n<p>\u0424\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u043f\u0440\u0430\u0432\u043e\u043a (\u00ab<code>o_proj<\/code> \u0441\u043b\u043e\u044f 0 \u0432 bf16, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 6 \u0431\u0438\u0442\u00bb) \u043f\u043b\u043e\u0445 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0443 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0430\u0437\u043d\u044b\u0435. \u041d\u0438\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0435 \u0432 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b.<\/p>\n<h4>6.1 \u041f\u0440\u0430\u0432\u0438\u043b\u043e<\/h4>\n<p>\u0414\u043b\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b m \u0438 \u0448\u0430\u0433\u0430 \u0435\u0451 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438 b \u2192 b\u2032 \u0437\u0430\u0434\u0430\u043d\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"e = \\frac{\\text{\u0434\u043e\u043b\u044f KL, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0448\u0430\u0433 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442}}{\\text{\u0434\u043e\u043b\u044f \u0431\u0430\u0439\u0442 \u0444\u0430\u0439\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043d \u0441\u0442\u043e\u0438\u0442}},\" alt=\"e = \\frac{\\text{\u0434\u043e\u043b\u044f KL, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0448\u0430\u0433 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442}}{\\text{\u0434\u043e\u043b\u044f \u0431\u0430\u0439\u0442 \u0444\u0430\u0439\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043d \u0441\u0442\u043e\u0438\u0442}},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67f\/67f451f6c8d301f54d0d5eed68f166ef.svg\" width=\"462\" height=\"42\" data-width=\"57.689\" data-height=\"5.285\" data-vertical-align=\"-2.077\" style=\"width: 57.689ex; height: 5.285ex; vertical-align: -2.077ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67f\/67f451f6c8d301f54d0d5eed68f166ef.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67f\/67f451f6c8d301f54d0d5eed68f166ef.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 KL \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0430 <strong>\u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0430<\/strong> \u043c\u0430\u0442\u0440\u0438\u0446\u0430, \u043f\u0440\u043e\u0442\u0438\u0432 fp32-\u044d\u0442\u0430\u043b\u043e\u043d\u0430. \u0428\u0430\u0433 \u0432\u0432\u0435\u0440\u0445 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 e \u2265 \u03c4; \u0448\u0430\u0433 \u0432\u043d\u0438\u0437 \u2014 \u0435\u0441\u043b\u0438 e &lt; \u03c4. \u041e\u0434\u0438\u043d \u043f\u043e\u0440\u043e\u0433 \u03c4 \u0441 \u043e\u0431\u0435\u0438\u0445 \u0441\u0442\u043e\u0440\u043e\u043d \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u0446\u0435\u043d\u0443 \u0431\u0430\u0439\u0442\u0430: \u0431\u0438\u0442\u044b \u043f\u0435\u0440\u0435\u0435\u0437\u0436\u0430\u044e\u0442 \u0442\u0443\u0434\u0430, \u0433\u0434\u0435 \u043e\u043a\u0443\u043f\u0430\u044e\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435.<\/p>\n<p>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432 \u0431\u0430\u0439\u0442\u0430\u0445 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a params\u00b7(b + 0.5)\/8 (0.5 \u0431\u0438\u0442\u0430 \u043d\u0430 \u0432\u0435\u0441 \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u044b <code>sb6<\/code>) \u0438 2\u00b7params \u0434\u043b\u044f bf16. \u041b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u2014 4, 5, 6 \u0431\u0438\u0442 \u0438 bf16. \u0428\u0430\u0433 \u0432\u043d\u0438\u0437 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e 4 \u0431\u0438\u0442 (3-\u0431\u0438\u0442\u043d\u043e\u0439 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0438 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u043d\u0435\u0442); \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u043d\u0438\u0437 \u043d\u0435 \u0438\u0434\u0451\u0442 \u043d\u0438\u043a\u043e\u0433\u0434\u0430. \u041f\u043e\u0434\u044a\u0451\u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0436\u0430\u0434\u043d\u043e \u043f\u043e \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044e e, \u043f\u043e\u043a\u0430 e \u2265 \u03c4. \u0414\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u0444\u0430\u0439\u043b\u0430 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e +0.5%) \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u03c4, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0431\u0430\u0439\u0442 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u044e\u0434\u0436\u0435\u0442; \u043e\u043d\u043e \u0438\u0449\u0435\u0442\u0441\u044f \u0431\u0438\u0441\u0435\u043a\u0446\u0438\u0435\u0439 \u043f\u043e log \u03c4. \u0415\u0441\u043b\u0438 \u0431\u044e\u0434\u0436\u0435\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0441\u0430\u043c\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u03c4, \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u03c4 \u0438 \u043f\u043e\u043c\u0435\u0442\u043a\u0430 \u00ab\u043d\u0435\u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c\u00bb.<\/p>\n<p>\u0426\u0435\u043b\u044c \u0432\u044b\u0431\u043e\u0440\u0430 \u2014 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 KL \u043f\u043e 14 \u043e\u043a\u043d\u0430\u043c \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u0432\u0437\u044f\u0442\u044b\u043c \u043f\u043e \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043a\u0432\u043e\u0442\u0435 en 4 \/ code 4 \/ ru 2 \/ sr 2 \/ zh 2 (\u0432\u0435\u0441\u0430 \u044f\u0437\u044b\u043a\u043e\u0432 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b \u0447\u0438\u0441\u043b\u0443 \u043e\u043a\u043e\u043d; \u043f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u0435\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u044f\u0432\u043d\u043e).<\/p>\n<h4>6.2 \u041a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b \u0438 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u0435<\/h4>\n<p><strong>\u041f\u0435\u0440\u0432\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043e\u0448\u0438\u0431\u0430\u043b\u0430\u0441\u044c \u0432 \u0432\u044b\u0431\u043e\u0440\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u0430 \u043d\u0435 \u0432 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435.<\/strong> \u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0438\u0441\u044c 12 \u0432\u0435\u0440\u0445\u043d\u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043f\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u0434\u0443 \u043f\u043b\u044e\u0441 \u043a\u043e\u043d\u0446\u0435\u0432\u044b\u0435 \u0441\u043b\u043e\u0438. \u041d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u043b\u0430\u0442\u0438\u0442 \u0437\u0430 \u0431\u0430\u0439\u0442, \u0430 \u043c\u0435\u043b\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b C\u00d7C (<code>att.output<\/code> \u0438 <code>att.value<\/code> \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0438 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0441\u043b\u043e\u0451\u0432) \u043f\u0440\u0438 \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u043c \u0432\u0440\u0435\u0434\u0435 \u0432\u0447\u0435\u0442\u0432\u0435\u0440\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435 <code>cmix<\/code>. \u0421\u0442\u0440\u043e\u0433\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u0435\u0437 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0439: \u0448\u0430\u0433 \u0432\u0432\u0435\u0440\u0445 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043d\u044f\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u0434\u0430 S \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u0437\u043d\u0430\u0447\u0438\u0442<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"e \\le \\frac{S\/\\mathrm{KL}}{\\text{\u0431\u0430\u0439\u0442\u044b}\\,+1\\text{ \u0431\u0438\u0442 \u043d\u0430 \u0444\u0430\u0439\u043b}}.\" alt=\"e \\le \\frac{S\/\\mathrm{KL}}{\\text{\u0431\u0430\u0439\u0442\u044b}\\,+1\\text{ \u0431\u0438\u0442 \u043d\u0430 \u0444\u0430\u0439\u043b}}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/851\/851e87529b03cb0dd9280997447a2e6e.svg\" width=\"245\" height=\"43\" data-width=\"30.672\" data-height=\"5.362\" data-vertical-align=\"-2.115\" style=\"width: 30.672ex; height: 5.362ex; vertical-align: -2.115ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/851\/851e87529b03cb0dd9280997447a2e6e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/851\/851e87529b03cb0dd9280997447a2e6e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e \u0441\u0432\u0438\u043f\u0443 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u0434\u0430 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 12 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043c\u0430\u0442\u0440\u0438\u0446 \u0441 \u0433\u0440\u0430\u043d\u0438\u0446\u0435\u0439 \u2265 5 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c 47 (1.5B), 61 (2.9B) \u0438 59 (7.2B). \u041f\u043e\u043b\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u043f\u0440\u0438 \u03c4 = 5 \u2014 33 \/ 46 \/ 45 \u043a\u043b\u044e\u0447\u0435\u0439 \u0432\u043c\u0435\u0441\u0442\u043e 12.<\/p>\n<p><strong>\u0412\u043d\u0438\u0437 \u0442\u0440\u0438 \u0431\u0438\u0442\u0430 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b.<\/strong> \u041b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0432\u043d\u0438\u0437 (KL \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430 \u0431\u0438\u0442 \u043d\u0438\u0436\u0435) \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430, \u0447\u0442\u043e \u0448\u0430\u0433\u0438 \u043d\u0430 3 \u0431\u0438\u0442\u0430 \u043f\u0440\u0438 e &lt; 5 \u0434\u0430\u044e\u0442 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 0.9% \u0444\u0430\u0439\u043b\u0430 (7.2B), \u043e\u0431\u044b\u0447\u043d\u043e 0.2\u20130.6%. \u0414\u0435\u0448\u0451\u0432\u044b\u0435 \u0431\u0430\u0439\u0442\u044b \u043b\u0435\u0436\u0430\u0442 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u043c\u0435\u0441\u0442\u0435: <code>ffn.key<\/code> 5 \u2192 4 \u0432 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0441\u043b\u043e\u044f\u0445 (e = 1.9\u20133.5), \u0430 4-\u0431\u0438\u0442\u043d\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c. \u041d\u043e\u0432\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u043d\u0435 \u043d\u0443\u0436\u043d\u0430.<\/p>\n<h4>6.3 \u0412\u044b\u0431\u043e\u0440 \u043f\u043e\u0440\u043e\u0433\u0430 \u03c4<\/h4>\n<p>\u0421\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0430\u0439\u0442-\u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438 \u03c4 \u2248 5\u20136: \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0431\u044b\u043b \u0432\u0435\u0440\u043d\u044b\u043c, \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c \u0431\u044b\u043b\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0431\u0438\u0442. \u041d\u0438\u0436\u0435 \u2014 KL \u0444\u0430\u0439\u043b\u0430 \u043d\u0430 30 \u043e\u043a\u043d\u0430\u0445, \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0432\u0448\u0438\u0445 \u0432 \u0432\u044b\u0431\u043e\u0440\u0435 (\u043d\u043e \u043b\u0435\u0436\u0430\u0449\u0438\u0445 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u0440\u0430\u0437\u0434\u0435\u043b 3.4), \u043f\u0430\u0440\u043d\u043e \u043a \u043f\u0440\u0435\u0441\u0435\u0442\u0443 \u043f\u043e \u043e\u043a\u043d\u0430\u043c; \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u2014 \u0447\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 ABBA \u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043d\u0430 Mac.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u0394 \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394KL, \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043e\u043a\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u043a\u043e\u043d \u0445\u0443\u0436\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394 \u0434\u0435\u043a\u043e\u0434\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B, \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 (12 \u043a\u043b\u044e\u0447\u0435\u0439, \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0432\u0435\u0440\u0445)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+22.6 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.0% [\u221218.2; \u221215.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.7%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B, sym \u03c4=5<\/p>\n<\/td>\n<td>\n<p align=\"left\">+6.8 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221218.8% [\u221220.3; \u221217.4]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432 \u0448\u0443\u043c\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B, sym \u03c4=6<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.6 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221213.5% [\u221215.1; \u221211.7]<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.5%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B, sym \u03c4=7<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221224.6 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.8% [\u22122.8; +1.2]<\/p>\n<\/td>\n<td>\n<p align=\"left\">13\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.0%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u0432\u044b\u0431\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">+55.4 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221224.6% [\u221226.1; \u221223.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.4%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, sym \u03c4=5<\/p>\n<\/td>\n<td>\n<p align=\"left\">+16.9 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221225.7% [\u221228.4; \u221222.5]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432 \u0448\u0443\u043c\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, sym \u03c4=6<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22128.5 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221219.2% [\u221221.6; \u221216.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432 \u0448\u0443\u043c\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, sym \u03c4=7<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221249.2 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22126.5% [\u22129.0; \u22123.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">6\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.4%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B, sym \u03c4=5<\/p>\n<\/td>\n<td>\n<p align=\"left\">+86.0 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221225.8% [\u221228.4; \u221223.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u043c\u0435\u0440\u0435\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B, sym \u03c4=6<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221233.6 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221213.4% [\u221216.6; \u221210.2]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u043c\u0435\u0440\u0435\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B, sym \u03c4=7<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2212115.3 \u041c\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.7% [\u22124.3; +2.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">12\/30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u043c\u0435\u0440\u0435\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u03c4 = 5 \u0434\u0430\u0451\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0436\u043d\u0435\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u0437\u0430 \u0442\u0440\u0435\u0442\u044c \u0431\u0430\u0439\u0442 \u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438; \u03c4 = 7 \u2014 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u043d\u0430 \u0444\u0430\u0439\u043b\u0435 \u043d\u0430 2.5% \u043c\u0435\u043d\u044c\u0448\u0435 \u0438 \u043d\u0430 2% \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0437 \u0431\u0430\u0439\u0442: \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u043b 22.6 \u041c\u0411 \u0438 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u043b \u043d\u0430 1.7%, \u0430 sym \u03c4=5 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 6.8 \u041c\u0411 \u0438 \u043d\u0435 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0431\u0430\u0439\u0442\u044b \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0438\u0441\u044c \u0441 \u043c\u0430\u0442\u0440\u0438\u0446, \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0445 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435, \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435.<\/p>\n<p><strong>\u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0441\u0430\u043c\u0438.<\/strong> \u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0435 \u0432\u044b\u0431\u043e\u0440 \u0434\u0435\u043b\u0430\u043b\u0441\u044f \u043f\u043e 8 \u043e\u043a\u043d\u0430\u043c (3 ru \/ 3 en \/ 2 sr), \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0445 (7.2B, \u03c4=6: en \u22127.7% \u043f\u0440\u043e\u0442\u0438\u0432 sr \u221219.4%; \u043f\u0440\u0438 \u03c4=7 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0434\u0430\u0436\u0435 \u043d\u0430 4.6% \u0445\u0443\u0436\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430). \u0422\u043e, \u0447\u0442\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442, \u2014 \u044d\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043d\u0435 \u0434\u0435\u0442\u0430\u043b\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/53\/9a\/de\/539adec2cccefba7cd0ecf7beff370a6.png\" alt=\"\u0420\u0438\u0441. 5. \u041f\u043e\u0440\u043e\u0433 \u03c4: \u0440\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u0438 \u0441\u043d\u044f\u0442\u044b\u0439 \u0432\u0440\u0435\u0434 \u043d\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043e\u043a\u043d\u0430\u0445\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/53\/9a\/de\/539adec2cccefba7cd0ecf7beff370a6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/53\/9a\/de\/539adec2cccefba7cd0ecf7beff370a6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 5. \u041f\u043e\u0440\u043e\u0433 \u03c4: \u0440\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u0438 \u0441\u043d\u044f\u0442\u044b\u0439 \u0432\u0440\u0435\u0434 \u043d\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043e\u043a\u043d\u0430\u0445<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 5. \u0412\u044b\u0431\u043e\u0440 \u043f\u043e\u0440\u043e\u0433\u0430 \u03c4: \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0444\u0430\u0439\u043b\u0430 \u0438 KL \u043d\u0430 30 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043e\u043a\u043d\u0430\u0445 (\u043f\u0430\u0440\u043d\u043e \u043a \u043f\u0440\u0435\u0441\u0435\u0442\u0443, 95% \u0414\u0418). \u0414\u0430\u043d\u043d\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u044b\u0448\u0435.<\/em><\/p>\n<h4>6.4 \u0427\u0438\u0441\u0442\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043e\u0442 1.5B \u0434\u043e 13.3B<\/h4>\n<p>\u041f\u0440\u0438\u0431\u043e\u0440: fake-\u043f\u0443\u0442\u044c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435, 36 \u043e\u043a\u043e\u043d \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 24 \u043e\u043a\u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u043a\u043e\u0434\u0430, KL \u043a bf16 \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u043c (\u0434\u043b\u044f 1.5B \u2014 \u0437\u0430\u043c\u0435\u0440 \u043d\u0430 Mac). \u0411\u044e\u0434\u0436\u0435\u0442 +0.5% \u0444\u0430\u0439\u043b\u0430. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0431\u0435\u0437 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">en<\/p>\n<\/th>\n<th>\n<p align=\"left\">ru<\/p>\n<\/th>\n<th>\n<p align=\"left\">sr<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B (Mac)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221216.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221218.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221213.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.88 \u2192 +3.25%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.86 \u2192 +3.32%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221220.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221225.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221216.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221220.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221213.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.85 \u2192 +1.51%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.22 \u2192 +0.86%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221223.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221222.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.14 \u2192 +0.86%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.11 \u2192 +0.58%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421 \u0440\u043e\u0441\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043d\u0435 \u043f\u0430\u0434\u0430\u0435\u0442. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043d\u0430 13.3B \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043e \u0432 1.5 \u0440\u0430\u0437\u0430: \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043e \u221232.9%, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043e \u221221.1% (\u043d\u0430 1.5B \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0431\u043b\u0438\u0437\u043a\u0438\u043c). \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0438 \u0432\u044b\u0448\u0435, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043c\u0435\u0440 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430.<\/p>\n<p>\u041f\u043e\u043b\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 \u043f\u0430\u0440\u043d\u044b\u043c \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u043e\u043c \u0434\u043b\u044f \u0448\u0435\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u0430 \u0432 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0438 B.1. \u0415\u0451 \u0438\u0442\u043e\u0433: \u043f\u043e KL \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0440\u0435\u0437\u0435; \u043f\u043e ppl \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c \u0432 \u0434\u0432\u0443\u0445 \u043a\u043b\u0435\u0442\u043a\u0430\u0445 (\u0442\u0435\u043a\u0441\u0442 \u043d\u0430 0.4B \u0438 \u043a\u043e\u0434 \u043d\u0430 2.9B). \u0421\u043b\u0430\u0431\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u2014 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u043d\u0430 0.4B: KL \u22127.5%, \u0442\u0440\u0438 \u043e\u043a\u043d\u0430 \u0438\u0437 \u0434\u0432\u0435\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u0445\u0443\u0436\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430, ppl +0.46% [\u22120.25; +1.14].<\/p>\n<h4>6.5 \u0427\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/h4>\n<p>\u0427\u0438\u0441\u043b\u043e \u043c\u0430\u0442\u0440\u0438\u0446, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0438\u0442 \u043f\u043e\u0432\u044b\u0448\u0435\u043d \u0438\u043b\u0438 \u043f\u043e\u043d\u0438\u0436\u0435\u043d (\u0431\u044e\u0434\u0436\u0435\u0442 +0.5% \u0444\u0430\u0439\u043b\u0430):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u0432\u0435\u0440\u0445<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u043d\u0438\u0437<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0447\u0442\u043e \u0432\u043d\u0438\u0437<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">47<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">52<\/p>\n<\/td>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">46<\/p>\n<\/td>\n<td>\n<p align=\"left\">16<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">59<\/p>\n<\/td>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>ffn.key<\/code> 5 \u2192 4 \u0431\u0438\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">110<\/p>\n<\/td>\n<td>\n<p align=\"left\">37<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430\u0432\u0435\u0440\u0445 \u0438\u0434\u0443\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c <code>o_proj<\/code> \u0438 <code>v_proj<\/code> (5 \u0431\u0438\u0442) \u0438 <code>ffn.value<\/code>. \u0411\u044e\u0434\u0436\u0435\u0442 +0.5% \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c: \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u03c4, \u0438 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0444\u0430\u0439\u043b\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 0.1\u20130.2% (\u043d\u0430 0.4B \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0430\u0436\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f).<\/p>\n<h4>6.6 \u0418\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 \u043b\u0435\u0441\u0442\u043d\u0438\u0446 \u0438 \u0435\u0433\u043e \u0446\u0435\u043d\u0430<\/h4>\n<p>\u0423\u0440\u043e\u0432\u043d\u0438 \u0432\u044b\u0448\u0435 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e: KL \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0443\u0431\u044b\u0432\u0430\u0435\u0442 \u0441 \u0431\u0438\u0442\u043e\u043c \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0443 \u0432\u0441\u0435\u0445 \u0442\u0438\u043f\u043e\u0432 \u043c\u0430\u0442\u0440\u0438\u0446 \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432. \u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 r = KL(b+1)\/KL(b) \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 0.315 (<code>proj<\/code>), 0.313 (<code>cmix.value<\/code>), 0.317 (<code>cmix.key<\/code>) \u0438 0.41 (\u0433\u043e\u043b\u043e\u0432\u0430), \u043c\u0435\u0434\u0438\u0430\u043d\u044b \u043f\u043e 500+ \u0448\u0430\u0433\u0430\u043c \u043d\u0430 \u0448\u0435\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043e\u0442 0.1B \u0434\u043e 13.3B. \u0412\u044b\u0431\u043e\u0440 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u00ab\u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u00d7 r\u1d4f\u00bb \u0434\u0430\u0451\u0442 \u0442\u043e\u0442 \u0436\u0435 \u041a\u041f\u0414 (\u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0441\u043d\u044f\u0442\u043e\u0433\u043e KL \u043d\u0430 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442), \u0447\u0442\u043e \u0432\u044b\u0431\u043e\u0440 \u043f\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430\u043c, \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0437\u0430\u0432\u044b\u0448\u0435\u043d (1.5B, \u03c4=6: \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043e \u221219%, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043e \u221213%), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442\u0447\u0451\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0441\u043b\u0443\u0436\u0438\u0442 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u043c.<\/p>\n<p>\u0426\u0435\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u2014 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043d\u0430 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0438 \u043e\u0434\u0438\u043d \u043d\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c\u044b\u0439 \u0448\u0430\u0433 \u0432\u043d\u0438\u0437. \u041f\u0440\u043e\u0445\u043e\u0434 \u0432\u043e\u0437\u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0441\u043b\u043e\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b: \u0441\u043b\u043e\u0438 \u0434\u043e \u043d\u0435\u0451 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0431\u0438\u0442\u043d\u043e \u0442\u043e\u0442 \u0436\u0435, \u0447\u0442\u043e \u0443 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 (\u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u0433\u0435\u0439\u0442\u043e\u043c), \u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0432\u0434\u0432\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435. \u041f\u0440\u0438\u0431\u043e\u0440 \u2014 fp32-\u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0432\u0435\u0441\u0430\u043c\u0438, \u0445\u0440\u0430\u043d\u044f\u0449\u0438\u043c\u0438\u0441\u044f \u0432 bf16: \u0430\u043f\u043a\u0430\u0441\u0442 \u0442\u043e\u0447\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u043e \u0442\u0430 \u0436\u0435 fp32-\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u0432\u0434\u0432\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438; \u044d\u0442\u0430\u043b\u043e\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u043c \u0432 \u0442\u043e\u043c \u0436\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435, \u0438 \u043f\u043e\u043b KL \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e \u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e.<\/p>\n<h4>6.7 \u0427\u0442\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442<\/h4>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0435 \u0441\u043f\u0430\u0441\u0430\u0435\u0442 \u043e\u0442 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f AW-\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 (\u0440\u0430\u0437\u0434\u0435\u043b 4.3: \u0431\u0435\u0437 \u043d\u0435\u0451 2.9B \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u0435\u0442\u0441\u044f) \u0438 \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0430\u0432\u043e\u043a \u043f\u0440\u0435\u0441\u0435\u0442\u0430: <code>o_proj<\/code> \u0441\u043b\u043e\u044f 0 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 6 \u0431\u0438\u0442 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0435\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439. \u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043c, \u0433\u0434\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u0438, \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a\u0430\u043a \u0444\u0430\u0439\u043b \u0441\u043e \u0441\u0442\u0440\u043e\u0433\u043e\u0439 \u043f\u043e\u0434\u043f\u0438\u0441\u044c\u044e \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 \u2014 \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a imatrix \u0434\u043b\u044f GGUF.<\/p>\n<hr\/>\n<h3>7. GPTQ \u043d\u0430 \u0441\u0435\u0442\u043a\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 COMPRESSION<\/h3>\n<blockquote>\n<p><strong>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435.<\/strong> \u0422\u0430\u0431\u043b\u0438\u0446\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u0432 7.2\u20137.5 \u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f B \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u043c \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u043e\u043c GPTQ. \u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u043f\u043e \u0444\u0430\u0439\u043b\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0438\u0448\u0435\u0442 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 9; \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430 \u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 (\u0440\u0430\u0437\u0434\u0435\u043b 7.6). \u0412\u0441\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u2014 \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 (\u0440\u0430\u0437\u0434\u0435\u043b 3.4).<\/p>\n<\/blockquote>\n<h4>7.1 \u041c\u0435\u0442\u043e\u0434<\/h4>\n<p>\u042f \u043f\u0435\u0440\u0435\u043d\u043e\u0448\u0443 GPTQ (Frantar et al., 2022) \u043d\u0430 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 <code>asym_sb6_aw<\/code>:<\/p>\n<ul>\n<li>\n<p>\u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u0441\u0434\u0432\u0438\u0433 \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a\u0430 (256 \u043a\u043e\u043b\u043e\u043d\u043e\u043a) \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u0435\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0435, \u043f\u043e \u0443\u0436\u0435 \u043f\u043e\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0432\u0435\u0441\u0430\u043c, \u0442\u0435\u043c \u0436\u0435 AW-\u043f\u043e\u0438\u0441\u043a\u043e\u043c, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 (RTN);<\/p>\n<\/li>\n<li>\n<p>\u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u043e\u0434\u043d\u043e\u0439;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0448\u0438\u0431\u043a\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0440\u0430\u0437\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u0435\u0449\u0451 \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0447\u0435\u0440\u0435\u0437 H\u207b\u00b9.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u043e\u0445\u043e\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439: \u0432\u0445\u043e\u0434 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0441 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0443\u0436\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u044b (\u043f\u043e\u0440\u044f\u0434\u043e\u043a: <code>r<\/code>, <code>k<\/code>, <code>v<\/code> \u2192 <code>o<\/code> \u2192 <code>ffn.key<\/code> \u2192 <code>ffn.value<\/code>, \u0433\u043e\u043b\u043e\u0432\u0430 \u0432 \u043a\u043e\u043d\u0446\u0435). \u042d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u2014 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043f\u043e\u0438\u0441\u043a\u0430, GPTQ \u0435\u0433\u043e \u043d\u0435 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u0435\u0442. \u0424\u043e\u0440\u043c\u0430\u0442 \u0444\u0430\u0439\u043b\u0430, \u044f\u0434\u0440\u0430 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438: \u043f\u0440\u0438 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 H \u043a\u043e\u0434\u044b \u043f\u043e\u0431\u0438\u0442\u043d\u043e \u0440\u0430\u0432\u043d\u044b RTN (\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 0); \u0444\u0430\u0439\u043b, \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439, \u043f\u043e\u0431\u0438\u0442\u043d\u043e \u0440\u0430\u0432\u0435\u043d fake-\u043f\u0443\u0442\u0438 GPTQ (\u0433\u0435\u0439\u0442).<\/p>\n<h4>7.2 \u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438<\/h4>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f: 48 \u043e\u043a\u043e\u043d \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043f\u0430\u043a\u0435\u0442\u0430, \u0434\u0435\u043c\u043f\u0444\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 damp = 0.01. KL \u043a RTN, \u0447\u0438\u0441\u0442\u044b\u0439 \u043d\u0430\u0431\u043e\u0440:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">en<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221212.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221237.9%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+0.4%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+13.6<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.4%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+4.7%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+17.7<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.4%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0441\u0442\u0430\u043b <strong>\u0445\u0443\u0436\u0435<\/strong> RTN. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u2014 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: 24.5 \u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043e\u0446\u0435\u043d\u043a\u0443 H \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0434\u043e 16384\u00d716384. \u042d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0443\u043c\u044f \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438 \u043d\u0430 7.2B: damp 0.1 \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 48 \u043e\u043a\u043d\u0430\u0445 \u0434\u0430\u0451\u0442 \u221221.0% (en \u221217.1), \u0430 82 \u043e\u043a\u043d\u0430 \u043f\u0440\u0438 damp 0.01 \u0434\u0430\u044e\u0442 \u043b\u0438\u0448\u044c \u22124.9% (en +6.7). \u0414\u0435\u043b\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u0430 \u043d\u0435 \u0432 \u0447\u0438\u0441\u043b\u0435 \u043e\u043a\u043e\u043d.<\/p>\n<h4>7.3 \u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 v2<\/h4>\n<p>600 \u043e\u043a\u043e\u043d \u043f\u043e 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (307 \u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432), \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0434\u043e\u043b\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0441\u043e\u0441\u0442\u0430\u0432<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">en 30%<\/p>\n<\/td>\n<td>\n<p align=\"left\">FineWeb-Edu<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">ru 20%<\/p>\n<\/td>\n<td>\n<p align=\"left\">FineWeb-2, \u0440\u0443\u0441\u0441\u043a\u0430\u044f \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0430, oasst2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043e\u0434 20%<\/p>\n<\/td>\n<td>\n<p align=\"left\">UltraData-Code, 6 \u044f\u0437\u044b\u043a\u043e\u0432, \u043f\u043b\u044e\u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">zh 10%<\/p>\n<\/td>\n<td>\n<p align=\"left\">FineWeb-2, novel_text<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">sr 10%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430 \u0438 \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0430 \u043f\u043e\u043f\u043e\u043b\u0430\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f 10%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u0434\u0432\u0443\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u043a\u043e\u043d \u2014 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0439 \u043a\u0440\u0443\u0433 \u043c\u0435\u0436\u0434\u0443 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u0435\u0444\u0438\u043a\u0441 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0434\u043e\u043b\u0438. \u041e\u043a\u043d\u0430, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0435 16-\u0433\u0440\u0430\u043c\u043c\u044b \u043b\u044e\u0431\u043e\u0433\u043e \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430, \u0432\u044b\u0431\u0440\u043e\u0448\u0435\u043d\u044b.<\/p>\n<h4>7.4 \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b: GPTQ \u043f\u0440\u043e\u0442\u0438\u0432 RTN<\/h4>\n<p>KL \u043a RTN-\u043f\u0440\u0435\u0441\u0435\u0442\u0443 \u043f\u0440\u0438 damp 0.1 \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 (\u0442\u0435\u043a\u0441\u0442 \/ en \/ ru \/ sr \/ \u043a\u043e\u0434) \u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0394ppl:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u043a\u043e\u043d<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">150<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221233.6 \/ \u221234.7 \/ \u221230.6 \/ \u221235.8 \/ \u221235.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">+7.80 \u2192 +5.12%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">150<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221239.6 \/ \u221241.3 \/ \u221239.8 \/ \u221237.7 \/ \u221246.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.91 \u2192 +2.63%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.84 \u2192 +2.18%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">600<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.2 \/ \u221240.2 \/ \u221242.5 \/ \u221243.9 \/ \u221249.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.91 \u2192 +2.55%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.84 \u2192 +1.85%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">150<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221238.7 \/ \u221237.5 \/ \u221238.4 \/ \u221240.1 \/ \u221243.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.78 \u2192 +1.69%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.33 \u2192 +1.53%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">600<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.5 \/ \u221242.2 \/ \u221242.6 \/ \u221242.7 \/ \u221246.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.78 \u2192 +1.49%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.33 \u2192 +1.04%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">150<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221222.8 \/ \u221218.6 \/ \u221222.4 \/ \u221227.5 \/ \u221234.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.85 \u2192 +1.44%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.22 \u2192 +0.84%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">600<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.8 \/ \u221225.4 \/ \u221227.2 \/ \u221233.8 \/ \u221238.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.85 \u2192 +1.31%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.22 \u2192 +0.76%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">150<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.0 \/ \u221217.3 \/ \u221219.9 \/ \u221226.4 \/ \u221237.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.14 \u2192 +1.13%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.11 \u2192 +0.45%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">600<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.8 \/ \u221226.4 \/ \u221227.8 \/ \u221232.6 \/ \u221238.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.14 \u2192 +0.86%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.11 \u2192 +0.69%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0438 \u043e\u0434\u0438\u043d \u044f\u0437\u044b\u043a \u043d\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0445\u0443\u0436\u0435 RTN. damp 0.1 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043b\u0443\u0447\u0448\u0435 0.01 \u0438 \u043d\u0430 \u043c\u0430\u043b\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445: \u043d\u0430 1.5B \u0438 2.9B \u043f\u0440\u0438 150 \u043e\u043a\u043d\u0430\u0445 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 5\u20137 \u043f. \u0411\u043e\u043b\u044c\u0448\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043a\u043e\u043d: \u043f\u0435\u0440\u0435\u0445\u043e\u0434 150 \u2192 600 \u0434\u0430\u0451\u0442 +6\u20138 \u043f. \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u043d\u0430 7.2B \u0438 13.3B \u0438 +3\u20134 \u043f. \u043d\u0430 1.5B \u0438 2.9B. \u0410\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0440\u0443\u0433\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445.<\/p>\n<p>\u041f\u0430\u0440\u043d\u044b\u0439 \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f \u043f\u043e \u043e\u043a\u043d\u0430\u043c (600 \u043e\u043a\u043e\u043d \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438; \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 B.2) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e GPTQ \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043b\u0443\u0447\u0448\u0435 RTN \u043f\u043e KL \u0438 \u043f\u043e ppl \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u043f\u043e \u043a\u043e\u0434\u0443; \u0445\u0443\u0436\u0435 RTN \u043f\u043e KL \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043e\u0434\u043d\u043e \u043e\u043a\u043d\u043e \u0438\u0437 360 (7.2B, \u0442\u0435\u043a\u0441\u0442).<\/p>\n<h4>7.5 \u0412\u043c\u0435\u0441\u0442\u0435 \u0441 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u043e\u043c<\/h4>\n<p>\u0418\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f KL \u043a \u043f\u0440\u0435\u0441\u0435\u0442\u0443 \u0431\u0435\u0437 \u043e\u0431\u043e\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, 600 \u043e\u043a\u043e\u043d \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438. \u00ab\u041f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u00bb \u2014 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u0440\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u043e\u0432: (1 \u2212 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 GPTQ) \u00d7 (1 \u2212 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430).<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221262.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221259.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221263.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+7.80 \u2192 +2.84%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+6.83 \u2192 +2.68%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221245.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221247.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.43 \u2192 +2.72%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.74 \u2192 +2.22%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221252.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221252.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221255.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.91 \u2192 +2.11%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.84 \u2192 +1.49%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u221245.2%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u221253.4%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221251.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.78 \u2192 +1.28%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.33 \u2192 +1.04%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221243.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221244.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.85 \u2192 +1.07%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.22 \u2192 +0.46%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221241.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221243.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221247.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.14 \u2192 +0.58%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.10 \u2192 +0.27%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 \u043f\u044f\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438\u0437 \u0448\u0435\u0441\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e, \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 3 \u043f. \u0418\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u2014 2.9B: \u043f\u043e\u0432\u0435\u0440\u0445 GPTQ \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043b\u0438\u0448\u044c \u22124.7% \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 (\u22129.2% \u043f\u043e \u043a\u043e\u0434\u0443) \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u043a\u043e\u043b\u043e \u221219%. \u041f\u0435\u0440\u0432\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 (\u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043d\u0430 2.9B \u0442\u0440\u0430\u0442\u0438\u0442 \u0431\u0430\u0439\u0442\u044b \u043d\u0430 <code>o_proj<\/code> \u0441\u043b\u043e\u044f 0, \u0430 GPTQ \u0443\u0436\u0435 \u0447\u0438\u043d\u0438\u0442 \u044d\u0442\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443) \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u0439: <code>o_proj<\/code> \u0441\u043b\u043e\u044f 0 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432 bf16 \u0432 \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445 \u0438 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0435\u0451 \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u0435\u0442. \u041e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u0438\u043c\u0438 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0431\u0438\u0442 \u0442\u043e\u0436\u0435 \u043d\u0435\u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e: \u0434\u043e\u043b\u044f \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 2.9B \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0430\u044f, \u043d\u043e \u043d\u0430 13.3B \u043b\u0438\u0448\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435, \u0430 \u0441\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0442\u0430\u043c \u043f\u043e\u0447\u0442\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e. \u0417\u0430\u0442\u0435\u043c \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u044f \u2014 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u043f\u0430\u0440\u044b \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 7.6): \u043f\u043e \u0444\u0430\u0439\u043b\u0430\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043f\u043e\u0432\u0435\u0440\u0445 GPTQ \u043d\u0430 2.9B \u0434\u0430\u0451\u0442 \u221211.5% [\u221214.7; \u22128.2] \u0438 \u0437\u043d\u0430\u0447\u0438\u043c.<\/p>\n<p>\u0412\u0430\u0436\u043d\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c: \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 RTN. \u041f\u0440\u044f\u043c\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u2014 \u0441\u043d\u044f\u0442\u044c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0443\u0436\u0435 \u043f\u0440\u043e\u0448\u043b\u0438 GPTQ, \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u044b\u0431\u043e\u0440; \u043e\u043d\u0430 \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 11).<\/p>\n<h4>7.6 \u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 GPTQ<\/h4>\n<p><strong>\u0414\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0437\u043c.<\/strong> \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u0447\u043d\u044b\u0439 GPTQ \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d: \u0434\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0430\u0445 \u0438 \u0444\u0430\u0439\u043b, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 <code>quantize()<\/code> \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043f\u043e\u0431\u0438\u0442\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u043b\u0438 (0.4B \u0438 1.5B, REDUCTION, 144 \u0442\u0435\u043d\u0437\u043e\u0440\u0430 \u0438\u0437 144).<\/p>\n<p><strong>\u0420\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438.<\/strong> \u0414\u0432\u0435 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043a\u043e\u0434\u044b. \u041f\u0440\u043e\u0442\u043e\u0442\u0438\u043f \u0431\u0440\u0430\u043b \u0432\u0435\u0440\u0445\u043d\u0438\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0425\u043e\u043b\u0435\u0446\u043a\u043e\u0433\u043e, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u2014 \u043d\u0438\u0436\u043d\u0438\u0439 \u0441 \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c; \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 1e-15, \u043d\u043e GPTQ \u0440\u0430\u0437\u043d\u043e\u0441\u0438\u0442 \u0435\u0451 \u043f\u043e \u0432\u0441\u0435\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435. \u0418\u0442\u043e\u0433 \u0444\u0430\u0439\u043b\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430, \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u0394KL, \u0442\u0435\u043a\u0441\u0442 \/ \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.1 \/ +4.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.83 \u043f\u0440\u043e\u0442\u0438\u0432 +1.49%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22125.3 \/ +0.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.2 \/ +0.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0417\u043d\u0430\u043a \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439. \u0417\u043d\u0430\u0447\u0438\u0442, \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e GPTQ-\u0447\u0438\u0441\u043b\u0430 \u0435\u0441\u0442\u044c \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u00ab\u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438\u00bb \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u00b15% KL \u0438 \u0434\u043e \u00b10.35 \u043f. ppl. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430 \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u044b.<\/p>\n<p><strong>\u0420\u0435\u043f\u043b\u0438\u043a\u0438.<\/strong> \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0437\u0431\u0440\u043e\u0441, \u0430 \u043d\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u043f\u043e \u0442\u0440\u0451\u043c \u043f\u0430\u0440\u0430\u043c, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u0447\u043d\u044b\u0439 GPTQ \u043f\u043e\u0432\u0442\u043e\u0440\u0451\u043d \u0441 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c 600 \u043e\u043a\u043e\u043d \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438: \u043e\u043a\u043d\u0430 \u0442\u0435 \u0436\u0435, \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f H, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u0443\u0449\u0435\u043d\u0438\u0435 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u043e\u0434\u0430, \u0447\u0442\u043e \u0441\u043c\u0435\u043d\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f \u0425\u043e\u043b\u0435\u0446\u043a\u043e\u0433\u043e. \u0424\u0430\u0439\u043b\u044b \u043f\u0438\u0448\u0435\u0442 <code>quantize()<\/code>, \u043e\u0446\u0435\u043d\u043a\u0430 \u2014 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u0431\u043e\u0440 \u043f\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0443; \u043a\u043e\u0434 \u0437\u0434\u0435\u0441\u044c \u2014 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 (48 \u043e\u043a\u043e\u043d). \u0423\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 COMPRESSION: 0.4B \u2014 6 \u0440\u0435\u043f\u043b\u0438\u043a, 1.5B \u0438 2.9B \u2014 \u043f\u043e 4; \u00ab\u0442\u043e\u043b\u044c\u043a\u043e GPTQ\u00bb \u043d\u0430 2.9B \u2014 4 \u0440\u0435\u043f\u043b\u0438\u043a\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043b\u0435\u0447\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442: sd \/ \u0440\u0430\u0437\u043c\u0430\u0445<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434: sd \/ \u0440\u0430\u0437\u043c\u0430\u0445<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0440\u0430\u0437\u043c\u0430\u0445 \u0394ppl \u0442\u0435\u043a\u0441\u0442 \/ \u043a\u043e\u0434, \u043f.<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B, \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6% \/ 1.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.8% \/ 2.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.38 \/ 0.37<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B, \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.3% \/ 2.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.4% \/ 2.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.19 \/ 0.15<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.2% \/ 2.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.1% \/ 4.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.27 \/ 0.19<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B, \u0442\u043e\u043b\u044c\u043a\u043e GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6% \/ 1.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.3% \/ 2.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.28 \/ 0.13<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0442\u043e \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442.<\/p>\n<ol>\n<li>\n<p><strong>\u041f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e GPTQ-\u0447\u0438\u0441\u043b\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u2014 \u043e\u043a\u043e\u043b\u043e \u00b11.5% KL (\u043e\u0434\u043d\u043e sd), \u0440\u0430\u0437\u043c\u0430\u0445 \u0434\u043e 3\u20135%.<\/strong> \u042d\u0442\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0440\u0435\u0436\u043d\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u00b15%, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0432\u0448\u0435\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0441 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u043e\u043c. \u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u043a\u043e\u043d \u0438\u0437 \u043e\u0431\u043b\u0430\u043a\u0430 \u0440\u0435\u043f\u043b\u0438\u043a \u043d\u0435 \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f (\u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u00b12%).<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e ppl \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0440\u0435\u043f\u043b\u0438\u043a \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0441 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u043c \u043f\u043e \u043e\u043a\u043d\u0430\u043c<\/strong>: \u0440\u0430\u0437\u043c\u0430\u0445 0.15\u20130.4 \u043f. \u043f\u0440\u0438 \u0394ppl +1\u2026+2.7%. \u0420\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0394ppl \u043c\u0435\u0436\u0434\u0443 \u043f\u043b\u0435\u0447\u0430\u043c\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 0.3 \u043f. \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0443 \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0428\u0443\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043a\u043d\u0430 \u2014 4\u20138% KL<\/strong> (\u043c\u0435\u0434\u0438\u0430\u043d\u0430 sd \u043f\u043e \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u043c). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0447\u0451\u0442 \u00ab\u0432 \u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043e\u043a\u043d\u0430\u0445 \u0445\u0443\u0436\u0435\u00bb \u043f\u0440\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0430\u0445 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 10% \u043d\u0435\u043d\u0430\u0434\u0451\u0436\u0435\u043d, \u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u043e\u043a\u043d\u0430\u043c \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043f\u043e\u0432\u0435\u0440\u0445 GPTQ \u043d\u0430 2.9B \u0437\u043d\u0430\u0447\u0438\u043c.<\/strong> \u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u043c, \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u2014 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u044b\u0439 \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f \u043f\u043e \u043e\u043a\u043d\u0430\u043c \u0438 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u043c: \u0442\u0435\u043a\u0441\u0442 \u221211.5% [\u221214.7; \u22128.2], \u043a\u043e\u0434 \u22127.4% [\u221210.6; \u22123.8]; \u0432\u0441\u0435 16 \u043f\u0430\u0440 \u0440\u0435\u043f\u043b\u0438\u043a \u0434\u0430\u044e\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 (\u0442\u0435\u043a\u0441\u0442 \u043e\u0442 \u221212.8 \u0434\u043e \u22129.2%). \u041d\u0430 0.4B \u0438 1.5B (\u043e\u0434\u043d\u0430 \u0440\u0435\u043f\u043b\u0438\u043a\u0430 \u00ab\u0442\u043e\u043b\u044c\u043a\u043e GPTQ\u00bb) \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u221212\u2026\u221213% \u0438 \u221212\u2026\u221214%.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0435\u0442\u043e\u0434\u044b \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0447\u0443\u0442\u044c \u0445\u0443\u0436\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f, \u043d\u0430 2.9B \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e<\/strong>: \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u2014 2.9B \u0442\u0435\u043a\u0441\u0442 1.09 [1.05; 1.13], \u043a\u043e\u0434 1.11 [1.07; 1.16]; 0.4B 1.03\u20131.05; 1.5B 1.04\u20131.07 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u043e\u043a\u043e\u043b\u043e 1.0 \u043f\u043e \u043a\u043e\u0434\u0443. \u041f\u0440\u0435\u0436\u043d\u0438\u0435 1.18 \u043d\u0430 2.9B \u0441\u043b\u043e\u0436\u0438\u043b\u0438\u0441\u044c \u0438\u0437 \u0434\u0432\u0443\u0445 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b: \u00ab\u0442\u043e\u043b\u044c\u043a\u043e GPTQ\u00bb \u0443 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430 0.01560 \u043f\u0440\u043e\u0442\u0438\u0432 0.01601 \u0443 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 (\u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0440\u0435\u043f\u043b\u0438\u043a), \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 \u2014 0.01486 \u043f\u0440\u043e\u0442\u0438\u0432 0.01417.<\/p>\n<\/li>\n<\/ol>\n<h4>7.7 \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c<\/h4>\n<p>\u0412\u0440\u0435\u043c\u044f GPTQ \u043d\u0430 RTX 4090 \u043f\u0440\u0438 600 \u043e\u043a\u043d\u0430\u0445:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043a\u0430\u0440\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u0440\u0435\u043c\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">42 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">81 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.6 \u0447<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.7 \u0447<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0410\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u043d\u0430 \u0445\u043e\u0441\u0442\u0435 (2 \u00d7 \u043e\u043a\u043d\u0430 \u00d7 511 \u00d7 D \u00d7 4 \u0431\u0430\u0439\u0442\u0430), \u0441\u043b\u043e\u0438 \u0440\u0430\u0437\u043d\u0435\u0441\u0435\u043d\u044b \u043f\u043e \u043a\u0430\u0440\u0442\u0430\u043c.<\/p>\n<p>\u041d\u0430 MacBook Air M4 16 \u0413\u0411 \u0431\u0435\u0437 \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440\u0430, \u043f\u0440\u0435\u0441\u0435\u0442 REDUCTION, \u0432\u044b\u0437\u043e\u0432 <code>quantize()<\/code> \u0446\u0435\u043b\u0438\u043a\u043e\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u0440\u0435\u043c\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0438\u043a \u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0441\u0432\u043e\u043f (\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0437\u0430 \u043f\u0440\u043e\u0433\u043e\u043d)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">17 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.7 \u0413\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">49 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.9 \u0413\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 \u0447 26 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">19.5 \u0413\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.4 \u0413\u0411<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 1.5B \u043f\u0438\u043a \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442 \u043e\u0431\u044a\u0451\u043c \u041e\u0417\u0423: macOS \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u044c, \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0441\u043b\u043e\u0439 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u044b\u043c (\u043e\u043a\u043e\u043b\u043e 6 \u043c\u0438\u043d). \u041e\u0446\u0435\u043d\u043a\u0430 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c + \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438\u00bb, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0440\u0435\u0448\u0430\u0435\u0442, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043b\u0438 GPTQ \u043d\u0435\u044f\u0432\u043d\u043e, \u0437\u0430\u043d\u0438\u0436\u0430\u0435\u0442 \u043f\u0438\u043a \u0432 2.4\u20133.4 \u0440\u0430\u0437\u0430. \u0424\u0430\u0439\u043b\u044b, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 Mac (\u0446\u0438\u043a\u043b GPTQ \u043d\u0430 CPU), \u043f\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0443\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u043c\u0438 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 (1.5B, \u0394ppl \u043f\u043e \u0434\u0432\u0443\u043c \u043d\u0430\u0431\u043e\u0440\u0430\u043c: +0.20 \/ +0.06% \u043f\u0440\u043e\u0442\u0438\u0432 +0.27 \/ +0.04%).<\/p>\n<hr\/>\n<h3>8. GPTQ \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0435 REDUCTION<\/h3>\n<p>REDUCTION \u0445\u0440\u0430\u043d\u0438\u0442 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438, <code>cmix<\/code> \u0438 \u0433\u043e\u043b\u043e\u0432\u0443 \u0432 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0439 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0435 \u0442\u0438\u043f\u0430 Q6_K (\u0440\u0430\u0437\u0434\u0435\u043b 3.2). GPTQ \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u044d\u0442\u0443 \u0441\u0435\u0442\u043a\u0443 \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u043d\u0430 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e: \u0441\u0435\u0442\u043a\u0430 \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0432 \u0435\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0435 \u043f\u043e \u043f\u043e\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0432\u0435\u0441\u0430\u043c, \u0434\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0451\u0442 \u0442\u043e\u0442 \u0436\u0435 \u0446\u0438\u043a\u043b. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 0 \u043f\u0440\u0438 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 H \u2014 \u043f\u043e\u0431\u0438\u0442\u043d\u043e\u0435 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e RTN \u043d\u0430 6 \u0438 8 \u0431\u0438\u0442\u0430\u0445. \u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u2014 \u0442\u0435 \u0436\u0435 600 \u043e\u043a\u043e\u043d, damp 0.1.<\/p>\n<p>KL \u043a RTN-REDUCTION \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 (\u0442\u0435\u043a\u0441\u0442 \/ en \/ ru \/ sr \/ \u043a\u043e\u0434) \u0438 \u0394ppl. \u0412\u0440\u0435\u043c\u044f \u2014 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 RTX 4090 \u043f\u0440\u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0439 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u043a\u0430\u0440\u0442 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u0440\u0435\u043c\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221222.4 \/ \u221228.7 \/ \u221219.5 \/ \u221220.6 \/ \u221227.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.50 \u2192 +0.47%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.60 \u2192 +0.48%<\/p>\n<\/td>\n<td>\n<p align=\"left\">14 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221222.7 \/ \u221221.5 \/ \u221222.7 \/ \u221223.7 \/ \u221227.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.29 \u2192 +0.21%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.23 \u2192 +0.18%<\/p>\n<\/td>\n<td>\n<p align=\"left\">29 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.4 \/ \u221224.5 \/ \u221229.1 \/ \u221231.4 \/ \u221232.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.35 \u2192 +0.27%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.07 \u2192 +0.05%<\/p>\n<\/td>\n<td>\n<p align=\"left\">43 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221229.6 \/ \u221226.2 \/ \u221231.2 \/ \u221231.4 \/ \u221233.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.15 \u2192 +0.09%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.15 \u2192 +0.15%<\/p>\n<\/td>\n<td>\n<p align=\"left\">75 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.1 \/ <strong>\u221212.6<\/strong> \/ \u221223.6 \/ \u221227.3 \/ \u221224.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.12 \u2192 +0.13%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.09 \u2192 +0.09%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.4 \u0447, 2 \u043a\u0430\u0440\u0442\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.1 \/ \u221216.2 \/ \u221220.0 \/ \u221215.2 \/ \u221231.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.07 \u2192 +0.07%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.10 \u2192 +0.09%<\/p>\n<\/td>\n<td>\n<p align=\"left\">5.2 \u0447, 4 \u043a\u0430\u0440\u0442\u044b*<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>* \u0412\u0440\u0435\u043c\u044f \u043d\u0430 4 \u043a\u0430\u0440\u0442\u0430\u0445 \u043f\u0440\u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0439 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438.<\/p>\n<p>\u041d\u0438 \u043e\u0434\u0438\u043d \u044f\u0437\u044b\u043a \u043d\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0445\u0443\u0436\u0435 RTN \u043f\u043e KL. \u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 (\u221217\u2026\u221230% \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443) \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 COMPRESSION (\u221234\u2026\u221242%): \u0434\u043b\u044f 8 \u0431\u0438\u0442 \u044d\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e, \u043e\u0448\u0438\u0431\u043a\u0430 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u044f \u043c\u0430\u043b\u0430 \u0438 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e. \u0421 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043d\u0435 \u0440\u0430\u0441\u0442\u0451\u0442: \u043d\u0430 7.2B \u0438 13.3B \u043e\u043d \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443, \u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u043d\u0430 7.2B \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u221212.6%. \u041f\u043e \u043a\u043e\u0434\u0443 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043d\u0430 \u0432\u0441\u0435\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445 (\u221224\u2026\u221234%).<\/p>\n<p>\u041f\u0430\u0440\u043d\u044b\u0439 \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f \u043f\u043e \u043e\u043a\u043d\u0430\u043c (\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 B.4) \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e KL \u0437\u043d\u0430\u0447\u0438\u043c \u0432\u0435\u0437\u0434\u0435, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438; \u0441\u0430\u043c\u0430\u044f \u0441\u043b\u0430\u0431\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u2014 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u043d\u0430 7.2B, \u0432\u0435\u0440\u0445\u043d\u0438\u0439 \u043a\u0440\u0430\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u22124.8%. \u041f\u043e \u043e\u043a\u043d\u0430\u043c GPTQ \u0445\u0443\u0436\u0435 RTN \u043f\u043e KL \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 \u043e\u0434\u043d\u043e\u043c \u043e\u043a\u043d\u0435 \u0438\u0437 36 (\u0442\u0435\u043a\u0441\u0442) \u0438\u043b\u0438 24 (\u043a\u043e\u0434).<\/p>\n<p><strong>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 ppl \u043d\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u043e \u043d\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong>: \u0432\u0441\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u043d\u043e\u043b\u044c, \u0438\u0445 \u0448\u0438\u0440\u0438\u043d\u0430 \u00b10.1\u20130.15%, \u0447\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u0441 \u0441\u0430\u043c\u043e\u0439 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0435\u0439 REDUCTION (+0.1\u20130.5%). \u041f\u043e \u0437\u043d\u0430\u043a\u0443 ppl \u0447\u0430\u0449\u0435 \u043b\u0443\u0447\u0448\u0435: \u0443 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0437 \u0448\u0435\u0441\u0442\u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430, \u0443 7.2B \u0438 13.3B \u2014 +0.01%. \u0414\u0432\u0430 \u044f\u0437\u044b\u043a\u0430, \u0433\u0434\u0435 ppl \u043d\u0430\u043a\u043b\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0445\u0443\u0434\u0448\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443:<\/p>\n<ul>\n<li>\n<p>\u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u043d\u0430 7.2B: +0.10% [\u22120.04; +0.24], P(\u0445\u0443\u0436\u0435) = 0.92 \u2014 \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u043e;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043d\u0430 13.3B: +0.11% [+0.03; +0.19], P(\u0445\u0443\u0436\u0435) = 0.997 \u2014 \u0437\u043d\u0430\u0447\u0438\u043c\u043e; KL \u044d\u0442\u043e\u0433\u043e \u0436\u0435 \u044f\u0437\u044b\u043a\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u221220.0% [\u221224.8; \u221215.6].<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043e\u043a\u043e\u043b\u043e 30 \u043f\u0430\u0440\u043d\u044b\u0445 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 (6 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u00d7 5 \u0441\u0440\u0435\u0437\u043e\u0432) \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 95%. \u041e\u0434\u043d\u043e \u043b\u043e\u0436\u043d\u043e\u0435 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0432 \u0442\u0430\u043a\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u044b\u0439 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043d\u0435 \u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0433\u0430\u0435\u0442 \u0432\u044b\u0432\u043e\u0434, \u043d\u043e \u043e\u043d \u0437\u0430\u043f\u0438\u0441\u0430\u043d.<\/p>\n<p><strong>\u0420\u0435\u0448\u0435\u043d\u0438\u0435: GPTQ \u0432\u043a\u043b\u044e\u0447\u0451\u043d \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438 \u0432 REDUCTION.<\/strong> \u0414\u043e\u0432\u043e\u0434: REDUCTION \u0441\u043b\u0443\u0436\u0438\u0442 \u0431\u0430\u0437\u043e\u0439 \u0434\u043b\u044f QLoRA \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u043e\u0432), \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u0430 \u0432\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u043d\u0435 ppl. \u0421\u0435\u0442\u043a\u0430 \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u0442\u0430 \u0436\u0435, \u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0430 \u043e\u0431\u0449\u0430\u044f \u0441 RTN; RTN-\u0444\u0430\u0439\u043b \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0444\u0430\u043a\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043f\u043e\u0431\u0430\u0439\u0442\u043d\u043e \u043f\u0440\u0435\u0436\u043d\u0438\u0439. \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u0447\u043d\u044b\u0439 GPTQ \u043d\u0430 0.1B \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f \u0442\u043e\u0447\u043d\u043e: KL \u0438 CE \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0434\u043e \u0448\u0435\u0441\u0442\u043e\u0433\u043e \u0437\u043d\u0430\u043a\u0430.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434.<\/strong> GPTQ \u0432 REDUCTION \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043a bf16 \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e (KL), \u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u043d\u0435 \u0434\u0430\u0451\u0442 \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u043e\u0433\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u043f\u043e ppl. \u0414\u043b\u044f near-lossless \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u044d\u0442\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 \u0432\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u043d\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435; \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0435\u0433\u043e \u043f\u043e ppl, \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043a\u043e\u043d. \u0411\u0430\u0439\u0442\u044b \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f.<\/p>\n<hr\/>\n<h3>9. \u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c<\/h3>\n<p>\u0417\u0434\u0435\u0441\u044c \u0448\u0435\u0441\u0442\u044c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u044b \u0442\u0430\u043a, \u043a\u0430\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c: \u0444\u0430\u0439\u043b\u044b \u043f\u0438\u0448\u0435\u0442 <code>quantize()<\/code> \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u043e\u0446\u0435\u043d\u043a\u0430 \u0438\u0434\u0451\u0442 \u043f\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0443 \u043e\u0434\u043d\u0438\u043c \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u043c \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 (36 \u043e\u043a\u043e\u043d \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 48 \u043e\u043a\u043e\u043d \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u043a\u043e\u0434\u0430). \u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0394ppl \u2014 \u043f\u0430\u0440\u043d\u044b\u0439 \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f \u043f\u043e \u043e\u043a\u043d\u0430\u043c, 95%. \u0424\u0430\u0439\u043b GPTQ \u0438\u043c\u0435\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440, \u0447\u0442\u043e RTN-\u0444\u0430\u0439\u043b \u0442\u043e\u0439 \u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438. \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u2014 \u0431\u044e\u0434\u0436\u0435\u0442 +0.5% \u0444\u0430\u0439\u043b\u0430; GPTQ \u2014 600 \u043e\u043a\u043e\u043d \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 v2, damp 0.1. \u0416\u0438\u0440\u043d\u044b\u043c \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 (<code>quantize(preset=\"compression\")<\/code> \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0438 GPTQ).<\/p>\n<p><strong>\u0420\u0430\u0437\u043c\u0435\u0440\u044b \u0444\u0430\u0439\u043b\u043e\u0432<\/strong> (\u041c\u0411 \u0438 \u0434\u043e\u043b\u044f \u043e\u0442 bf16):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">bf16<\/p>\n<\/th>\n<th>\n<p align=\"left\">REDUCTION<\/p>\n<\/th>\n<th>\n<p align=\"left\">COMPRESSION + \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">382<\/p>\n<\/td>\n<td>\n<p align=\"left\">191 (50.1%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">134 (35.2%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">902<\/p>\n<\/td>\n<td>\n<p align=\"left\">434 (48.1%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">299 (33.2%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">3055<\/p>\n<\/td>\n<td>\n<p align=\"left\">1439 (47.1%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">997 (32.6%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">5896<\/p>\n<\/td>\n<td>\n<p align=\"left\">2743 (46.5%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">1892 (32.1%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">14400<\/p>\n<\/td>\n<td>\n<p align=\"left\">6648 (46.2%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">4576 (31.8%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">26541<\/p>\n<\/td>\n<td>\n<p align=\"left\">12178 (45.9%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">8377 (31.6%)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e:<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u043b\u0435\u0447\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u0411<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u0442\u0435\u043a\u0441\u0442, %<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434, %<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">191.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00550<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00555<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.49 [+0.33; +0.65]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.75 [+0.60; +0.90]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>REDUCTION + GPTQ (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">191.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00426<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00399<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.46 [+0.33; +0.59]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.55 [+0.41; +0.69]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">133.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.07420<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.06944<\/p>\n<\/td>\n<td>\n<p align=\"left\">+7.76 [+6.81; +8.73]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+6.61 [+5.84; +7.43]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">134.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04524<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04011<\/p>\n<\/td>\n<td>\n<p align=\"left\">+5.13 [+4.59; +5.66]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.56 [+3.13; +3.98]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">133.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04838<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04082<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.95 [+4.33; +5.58]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.60 [+3.11; +4.09]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+ \u043e\u0431\u0430 (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">134.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02864<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02476<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.76 [+2.28; +3.25]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.47 [+2.18; +2.77]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">434.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00313<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00280<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.28 [+0.16; +0.40]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.21 [+0.11; +0.32]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>REDUCTION + GPTQ (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">434.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00242<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00205<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.20 [+0.10; +0.31]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.19 [+0.11; +0.28]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">301.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04805<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04264<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.40 [+3.75; +5.07]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.38 [+3.85; +4.90]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">299.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04038<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.03757<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.19 [+3.67; +4.72]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.56 [+3.07; +4.07]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">301.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02956<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02564<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.96 [+2.44; +3.48]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.45 [+2.02; +2.91]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+ \u043e\u0431\u0430 (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">299.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02599<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02306<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.57 [+2.11; +3.04]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.00 [+1.60; +2.42]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">1439.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00239<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00244<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.35 [+0.22; +0.47]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.13 [+0.02; +0.23]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>REDUCTION + GPTQ (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1439.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00171<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00162<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.27 [+0.17; +0.37]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.03 [-0.04; +0.10]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">993.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.03779<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04061<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.90 [+3.40; +4.43]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.85 [+3.40; +4.30]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">996.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.03119<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.03597<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.29 [+2.86; +3.72]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.59 [+3.10; +4.08]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">993.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02135<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02073<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.54 [+2.13; +2.94]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.76 [+1.44; +2.09]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+ \u043e\u0431\u0430 (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">996.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01831<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01874<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.98 [+1.55; +2.44]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.69 [+1.28; +2.13]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">2743.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00177<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00180<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.15 [+0.05; +0.26]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.05 [-0.04; +0.14]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>REDUCTION + GPTQ (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2743.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00125<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00120<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.09 [-0.01; +0.19]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.05 [-0.02; +0.12]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">1885.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02708<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02976<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.77 [+2.33; +3.22]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.63 [+2.21; +3.03]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">1891.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02192<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.02480<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.12 [+1.65; +2.58]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.18 [+1.77; +2.59]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">1885.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01610<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01514<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.75 [+1.42; +2.08]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.30 [+1.02; +1.58]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+ \u043e\u0431\u0430 (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1891.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01406<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01394<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.32 [+1.09; +1.56]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.05 [+0.76; +1.34]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">6647.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00119<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00112<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.12 [+0.04; +0.21]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.11 [+0.04; +0.18]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>REDUCTION + GPTQ (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">6647.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00093<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00081<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.13 [+0.07; +0.20]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.08 [+0.02; +0.14]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">4555.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01682<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01686<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.88 [+1.56; +2.20]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.51 [+1.23; +1.79]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">4576.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01331<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01437<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.52 [+1.17; +1.87]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.09 [+0.80; +1.40]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">4555.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01201<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00978<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.02 [+0.68; +1.37]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.71 [+0.49; +0.94]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+ \u043e\u0431\u0430 (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">4576.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00992<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00857<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.95 [+0.68; +1.22]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.67 [+0.48; +0.86]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">REDUCTION<\/p>\n<\/td>\n<td>\n<p align=\"left\">12178.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00082<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00090<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.07 [+0.00; +0.13]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.11 [+0.05; +0.16]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>REDUCTION + GPTQ (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">12178.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00068<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00065<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.07 [+0.02; +0.13]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.10 [+0.05; +0.15]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">COMPRESSION<\/p>\n<\/td>\n<td>\n<p align=\"left\">8337.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01128<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01228<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.15 [+0.87; +1.44]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.12 [+0.85; +1.39]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">8377.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00889<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01020<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.88 [+0.64; +1.12]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.75 [+0.53; +0.96]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">+ GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">8337.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00814<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00705<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.83 [+0.59; +1.08]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.38 [+0.21; +0.56]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+ \u043e\u0431\u0430 (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">8377.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00687<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00615<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.70 [+0.49; +0.93]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.40 [+0.23; +0.57]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0427\u0442\u043e \u0432\u0438\u0434\u043d\u043e.<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445.<\/strong> COMPRESSION, KL \u0442\u0435\u043a\u0441\u0442\u0430: 0.074 \u2192 0.048 \u2192 0.038 \u2192 0.027 \u2192 0.017 \u2192 0.011. REDUCTION: 0.0055 \u2192 0.0031 \u2192 0.0024 \u2192 0.0018 \u2192 0.0012 \u2192 0.0008. \u0410\u043d\u043e\u043c\u0430\u043b\u0438\u044f 2.9B \u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 4 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0430\u0432\u043e\u043a \u043f\u0440\u0435\u0441\u0435\u0442\u0430 (<code>o_proj<\/code> \u0441\u043b\u043e\u044f 0, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 6 \u0431\u0438\u0442) \u0432 \u044d\u0442\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043a\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0432\u0438\u0434\u043d\u0430. \u041f\u043e\u0442\u0435\u0440\u0438 \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044f COMPRESSION \u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0438 \u043f\u043e \u0394ppl: +2.76, +2.57, +1.98, +1.32, +0.95, +0.70% \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0436\u0430\u0442\u0438\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c.<\/strong> \u0414\u043e\u043b\u044f \u00ab\u043d\u0435\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u0445\u00bb \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 (LoRA-\u0432\u0435\u0442\u043a\u0438, \u043c\u0430\u043b\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b, \u043d\u043e\u0440\u043c\u044b) \u0443\u0431\u044b\u0432\u0430\u0435\u0442: REDUCTION 50% \u2192 46%, COMPRESSION 35% \u2192 31.4%.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0431\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 \u043e\u043a\u0443\u043f\u0430\u044e\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u0439 \u043c\u0430\u043b\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong> \u041d\u0430 0.1B \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 62% KL \u043f\u0440\u0435\u0441\u0435\u0442\u0430, \u043d\u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 41\u201352% (\u0440\u0430\u0437\u0434\u0435\u043b 7.5). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 COMPRESSION \u043d\u0430 0.4B (+2.57%) \u043b\u0443\u0447\u0448\u0435 \u0433\u043e\u043b\u043e\u0433\u043e \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u043d\u0430 1.5B (+3.90%), \u0430 \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 \u043d\u0430 2.9B (+1.32%) \u2014 \u0433\u043e\u043b\u043e\u0433\u043e \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u043d\u0430 7.2B (+1.88%).<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0431\u0430\u0439\u0442.<\/strong> \u041f\u0440\u0438\u0431\u0430\u0432\u043a\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 0.1\u20130.2% \u0444\u0430\u0439\u043b\u0430; \u043d\u0430 0.4B \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0430\u0436\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0441\u044f. \u0411\u044e\u0434\u0436\u0435\u0442 +0.5% \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c: \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u03c4.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041e \u0441\u0442\u0440\u043e\u0433\u043e\u0441\u0442\u0438 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0441\u0442\u0438.<\/strong> \u0414\u043b\u044f \u0433\u043e\u043b\u044b\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u043e\u0432 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c: \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b KL \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0438 \u0432 REDUCTION, \u043d\u0438 \u0432 COMPRESSION (\u043f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430). \u0414\u043b\u044f \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044f COMPRESSION \u043e\u043d\u0430 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043f\u043e \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u043c \u043e\u0446\u0435\u043d\u043a\u0430\u043c, \u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, KL \u0442\u0435\u043a\u0441\u0442\u0430 0.0279 [0.0263; 0.0296] \u0443 0.1B \u043f\u0440\u043e\u0442\u0438\u0432 0.0260 [0.0242; 0.0278] \u0443 0.4B \u2014 \u043f\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430 \u2014 \u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0443 \u043f\u0430\u0440\u044b 1.5B\/2.9B). \u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0394ppl \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f; \u0441\u0442\u0440\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b \u0434\u0430\u043b\u0451\u043a\u0438\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 0.1B (+2.76 [+2.28; +3.25]) \u0438 13.3B (+0.70 [+0.49; +0.93]).<\/p>\n<p>\u0417\u0430\u043c\u0435\u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u043a\u043e\u0434\u0430 \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430 \u043d\u0435 \u0441\u0434\u0432\u0438\u043d\u0443\u043b\u0430: KL \u043f\u043e \u0434\u0432\u0443\u043c \u043d\u0430\u0431\u043e\u0440\u0430\u043c \u043a\u043e\u0434\u0430 \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 10%.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/4d\/93\/16\/4d9316acf3556a072731599da741685e.png\" alt=\"\u0420\u0438\u0441. 6. \u041f\u043e\u0442\u0435\u0440\u0438 ppl \u043f\u043e \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/4d\/93\/16\/4d9316acf3556a072731599da741685e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/4d\/93\/16\/4d9316acf3556a072731599da741685e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 6. \u041f\u043e\u0442\u0435\u0440\u0438 ppl \u043f\u043e \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 6. \u0394ppl \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e bf16 \u0434\u043b\u044f \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432: RTN, \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440, GPTQ \u0438 \u0438\u0445 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435. \u0414\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438\u0442\u043e\u0433\u043e\u0432 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430.<\/em><\/p>\n<hr\/>\n<h3>10. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 GGUF \u0438 MLX \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0444\u0430\u0439\u043b\u0430<\/h3>\n<p>\u0427\u0443\u0436\u0438\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0438\u0437 \u0442\u043e\u0433\u043e \u0436\u0435 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 g1j \u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u044b \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u0438 \u0444\u0430\u0439\u043b\u044b: \u0438\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0438 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0434\u0430\u043b\u044c\u0448\u0435 \u2014 \u0442\u0435 \u0436\u0435 \u043e\u043a\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 KL \u043a bf16.<\/p>\n<ul>\n<li>\n<p><strong>GGUF<\/strong>: <code>llama-quantize<\/code>, Q4_K_M \u0438 Q6_K \u0441 imatrix \u043f\u043e \u0442\u0435\u043c \u0436\u0435 600 \u043e\u043a\u043d\u0430\u043c, \u0447\u0442\u043e \u0443 \u043c\u043e\u0435\u0433\u043e GPTQ; \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u2014 <code>gguf-py<\/code>. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 Q4_K_M \u0434\u0435\u0440\u0436\u0438\u0442 \u0433\u043e\u043b\u043e\u0432\u0443 \u0432 Q6_K, \u0430 LoRA \u2014 \u0432 F16.<\/p>\n<\/li>\n<li>\n<p><strong>MLX<\/strong>: \u0441\u0445\u0435\u043c\u0430 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 (affine, \u0433\u0440\u0443\u043f\u043f\u0430 64). int6 \u2014 \u0432\u0441\u0451 \u0432 6 \u0431\u0438\u0442; int4 \u2014 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0438 FFN \u0432 4 \u0431\u0438\u0442\u0430, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433, \u0433\u043e\u043b\u043e\u0432\u0430 \u0438 LoRA \u0432 6. \u041a\u043e\u0434\u044b \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0441\u0430\u043c <code>mx.quantize<\/code>, \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043f\u043e\u0431\u0438\u0442\u043d\u043e \u0440\u0430\u0432\u043d\u043e <code>mx.dequantize<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043e\u0438 \u0444\u0430\u0439\u043b\u044b \u0440\u0430\u0432\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/strong>: \u0441\u0435\u0442\u043a\u0430 REDUCTION (\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f, \u0442\u0438\u043f Q6_K) \u0441 6 \u0431\u0438\u0442\u0430\u043c\u0438. <code>sym6<\/code> \u2014 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438 \u0433\u043e\u043b\u043e\u0432\u0430 \u0432 6 \u0431\u0438\u0442 (\u0440\u0430\u0437\u043c\u0435\u0440 int6); <code>sym6h8<\/code> \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0432 6 \u0431\u0438\u0442, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438 \u0433\u043e\u043b\u043e\u0432\u0430 \u0432 8 (\u0440\u0430\u0437\u043c\u0435\u0440 Q6_K). \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442: \u044d\u0442\u043e \u043d\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438, \u0430 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<p><strong>1.5B<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0444\u043e\u0440\u043c\u0430\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u0411<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u0442\u0435\u043a\u0441\u0442, %<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434, %<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int4<\/p>\n<\/td>\n<td>\n<p align=\"left\">970.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.11642<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.12479<\/p>\n<\/td>\n<td>\n<p align=\"left\">+12.71 [+11.43; +14.03]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+12.14 [+11.14; +13.16]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q4_K_M (imatrix)<\/p>\n<\/td>\n<td>\n<p align=\"left\">990.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.03926<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.04049<\/p>\n<\/td>\n<td>\n<p align=\"left\">+4.07 [+3.48; +4.72]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.76 [+3.32; +4.21]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">996.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01831<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01874<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.98 [+1.54; +2.44]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.69 [+1.28; +2.12]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6, \u0431\u0435\u0437 GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1272.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00375<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00402<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.51 [+0.35; +0.67]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.29 [+0.15; +0.43]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6 + GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1272.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00260<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00251<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.31 [+0.17; +0.45]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.16 [+0.04; +0.27]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6<\/p>\n<\/td>\n<td>\n<p align=\"left\">1272.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00901<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00971<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.83 [+0.64; +1.03]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.54 [+0.34; +0.75]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix)<\/p>\n<\/td>\n<td>\n<p align=\"left\">1336.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00406<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00426<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.48 [+0.34; +0.61]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.27 [+0.15; +0.39]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6h8, \u0431\u0435\u0437 GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1339.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00304<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00329<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.41 [+0.27; +0.54]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.21 [+0.07; +0.33]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6h8 + GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1339.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00208<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00207<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.27 [+0.16; +0.38]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.11 [+0.01; +0.22]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 REDUCTION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1439.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00171<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00162<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.27 [+0.17; +0.37]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.03 [-0.04; +0.10]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>2.9B<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0444\u043e\u0440\u043c\u0430\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u0411<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u0442\u0435\u043a\u0441\u0442, %<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0394ppl \u043a\u043e\u0434, %<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int4<\/p>\n<\/td>\n<td>\n<p align=\"left\">1824.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.50748<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.46978<\/p>\n<\/td>\n<td>\n<p align=\"left\">+66.14 [+53.11; +81.85]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+55.45 [+47.30; +64.44]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q4_K_M (imatrix)<\/p>\n<\/td>\n<td>\n<p align=\"left\">1875.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.37847<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.50555<\/p>\n<\/td>\n<td>\n<p align=\"left\">+304.99 [+203.92; +497.81]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+328.67 [+201.28; +647.98]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1891.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01406<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01394<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.32 [+1.09; +1.56]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.05 [+0.76; +1.34]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6, \u0431\u0435\u0437 GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2451.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00288<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00305<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.27 [+0.12; +0.42]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.16 [+0.05; +0.26]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6 + GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2451.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00205<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00206<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.22 [+0.10; +0.34]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.05 [-0.04; +0.15]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6<\/p>\n<\/td>\n<td>\n<p align=\"left\">2453.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01514<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01967<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.16 [+0.75; +1.54]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1.67 [+1.33; +2.02]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6h8, \u0431\u0435\u0437 GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2535.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00223<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00239<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.22 [+0.11; +0.34]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.15 [+0.05; +0.25]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 sym6h8 + GPTQ<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2535.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00155<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00153<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.20 [+0.10; +0.31]<\/p>\n<\/td>\n<td>\n<p align=\"left\">-0.01 [-0.11; +0.08]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix)<\/p>\n<\/td>\n<td>\n<p align=\"left\">2567.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00512<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00714<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.33 [+0.11; +0.53]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.63 [+0.42; +0.85]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043c\u043e\u0439 REDUCTION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2743.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00125<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.00120<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.09 [-0.01; +0.19]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.05 [-0.02; +0.12]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f KL \u00ab\u0447\u0443\u0436\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \/ \u043c\u043e\u0439 \u0444\u0430\u0439\u043b\u00bb (\u043f\u0430\u0440\u043d\u044b\u0439 \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f \u043f\u043e \u043e\u043a\u043d\u0430\u043c; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 &gt; 1 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u043e\u0439 \u0444\u0430\u0439\u043b \u0442\u043e\u0447\u043d\u0435\u0435). \u0412 \u0441\u043a\u043e\u0431\u043a\u0430\u0445 \u2014 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0435\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0447\u0443\u0436\u043e\u0433\u043e.<\/p>\n<p><strong>1.5B<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0447\u0443\u0436\u043e\u0439 \/ \u043c\u043e\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0435\u0433\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q4_K_M (imatrix) \/ \u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.14 [1.98; 2.30]<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.16 [2.05; 2.28]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int4 \/ \u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+2.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.36 [5.84; 6.92]<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.66 [6.20; 7.14]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 sym6 + GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">-0.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.47 [3.23; 3.74]<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.86 [3.72; 4.01]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 sym6, \u0431\u0435\u0437 GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">-0.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.40 [2.29; 2.53]<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.42 [2.35; 2.49]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix) \/ \u043c\u043e\u0439 sym6h8 + GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.95 [1.82; 2.09]<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.06 [1.95; 2.17]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix) \/ \u043c\u043e\u0439 sym6h8, \u0431\u0435\u0437 GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.34 [1.27; 1.40]<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.29 [1.24; 1.35]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">-21.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.49 [0.45; 0.53]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.52 [0.48; 0.56]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix) \/ \u043c\u043e\u0439 REDUCTION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+7.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.37 [2.18; 2.58]<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.63 [2.49; 2.76]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 REDUCTION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+13.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">5.27 [4.88; 5.71]<\/p>\n<\/td>\n<td>\n<p align=\"left\">5.98 [5.70; 6.28]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>2.9B<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0447\u0443\u0436\u043e\u0439 \/ \u043c\u043e\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0435\u0433\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q4_K_M (imatrix) \/ \u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">98.06 [75.72; 129.80]<\/p>\n<\/td>\n<td>\n<p align=\"left\">108.00 [81.83; 149.56]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int4 \/ \u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+3.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">36.10 [29.93; 42.99]<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.70 [29.72; 38.19]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 sym6 + GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">-0.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.38 [6.57; 8.42]<\/p>\n<\/td>\n<td>\n<p align=\"left\">9.57 [8.71; 10.57]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 sym6, \u0431\u0435\u0437 GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">-0.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">5.26 [4.72; 5.95]<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.46 [5.93; 7.05]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix) \/ \u043c\u043e\u0439 sym6h8 + GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">-1.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.31 [2.92; 3.76]<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.65 [4.25; 5.09]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix) \/ \u043c\u043e\u0439 sym6h8, \u0431\u0435\u0437 GPTQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">-1.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.30 [2.08; 2.56]<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.99 [2.75; 3.25]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 COMPRESSION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">-22.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.08 [0.94; 1.26]<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.41 [1.27; 1.57]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GGUF Q6_K (imatrix) \/ \u043c\u043e\u0439 REDUCTION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+6.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.10 [3.63; 4.69]<\/p>\n<\/td>\n<td>\n<p align=\"left\">5.97 [5.45; 6.51]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MLX int6 \/ \u043c\u043e\u0439 REDUCTION (\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">+11.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">12.13 [10.62; 14.15]<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.45 [14.99; 18.18]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0427\u0442\u043e \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442.<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u041f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u043c\u043e\u0439 \u0444\u0430\u0439\u043b \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u0435.<\/strong> \u041d\u0430 1.5B: \u043f\u0440\u043e\u0442\u0438\u0432 Q4_K_M \u2014 \u0432 2.1 \u0440\u0430\u0437\u0430 \u043f\u043e KL, \u043f\u0440\u043e\u0442\u0438\u0432 Q6_K \u2014 \u0432 2.0, \u043f\u0440\u043e\u0442\u0438\u0432 MLX int6 \u2014 \u0432 3.5, \u043f\u0440\u043e\u0442\u0438\u0432 MLX int4 \u2014 \u0432 6.4. \u041d\u0430 2.9B: \u043f\u0440\u043e\u0442\u0438\u0432 Q6_K \u2014 \u0432 3.3 \u0440\u0430\u0437\u0430, \u043f\u0440\u043e\u0442\u0438\u0432 MLX int6 \u2014 \u0432 7.4, \u043f\u0440\u043e\u0442\u0438\u0432 MLX int4 \u2014 \u0432 36; Q4_K_M \u0442\u0430\u043c \u0441\u043b\u043e\u043c\u0430\u043d (\u043f. 4).<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0430\u0441\u0442\u044c \u043e\u0442\u0440\u044b\u0432\u0430 \u0434\u0430\u0451\u0442 \u0444\u043e\u0440\u043c\u0430\u0442, \u0447\u0430\u0441\u0442\u044c \u2014 GPTQ.<\/strong> \u0411\u0435\u0437 GPTQ \u043c\u043e\u044f 6-\u0431\u0438\u0442\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430 \u0443\u0436\u0435 \u043b\u0443\u0447\u0448\u0435 int6 \u0432 2.4 \u0440\u0430\u0437\u0430 (5.3 \u0440\u0430\u0437\u0430 \u043d\u0430 2.9B) \u0438 \u043b\u0443\u0447\u0448\u0435 Q6_K \u0441 imatrix \u0432 1.34 \u0440\u0430\u0437\u0430 (1.5B). \u041d\u0430 4 \u0431\u0438\u0442\u0430\u0445 \u0438\u043d\u0430\u0447\u0435: \u0433\u043e\u043b\u044b\u0439 \u043f\u0440\u0435\u0441\u0435\u0442 COMPRESSION \u0440\u0430\u0432\u0435\u043d Q4_K_M \u0441 imatrix (KL 0.0378 \u043f\u0440\u043e\u0442\u0438\u0432 0.0393), \u0438 \u0432\u0435\u0441\u044c \u043e\u0442\u0440\u044b\u0432 \u0442\u0430\u043c \u0434\u0430\u0451\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 GPTQ.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0437\u0440\u044b\u0432 \u0441 MLX \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong> \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u2014 <code>o_proj<\/code> \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f (\u0440\u0430\u0437\u0434\u0435\u043b 4): affine-\u0441\u0445\u0435\u043c\u0430 \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442 \u0435\u0433\u043e \u043d\u0430\u0440\u0430\u0432\u043d\u0435 \u0441\u043e \u0432\u0441\u0435\u043c\u0438, \u0438 \u043d\u0430 2.9B int4 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f (+66% ppl), \u0430 int6 \u0442\u0435\u0440\u044f\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043c\u043e\u0439 \u0444\u0430\u0439\u043b \u043d\u0430 23% \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>Q4_K_M \u043d\u0430 2.9B \u0441\u043b\u043e\u043c\u0430\u043d.<\/strong> KL 1.38, +305% ppl \u043f\u043e \u043c\u043e\u0435\u043c\u0443 \u043f\u0440\u0438\u0431\u043e\u0440\u0443. \u042d\u0442\u043e \u043d\u0435 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0432\u0435\u0441\u043e\u0432: \u0441\u0430\u043c llama.cpp \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u0444\u0430\u0439\u043b\u0435 \u0434\u0430\u0451\u0442 ppl 31.4 \u043f\u0440\u043e\u0442\u0438\u0432 6.54 \u0443 Q6_K (wikitext-2, 12 \u043e\u043a\u043e\u043d \u043f\u043e 512), \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043d\u0430 1.5B \u0442\u0430 \u0436\u0435 \u0441\u0431\u043e\u0440\u043a\u0430 \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e (10.67 \u043f\u0440\u043e\u0442\u0438\u0432 10.33). \u041e\u0448\u0438\u0431\u043a\u0438 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0435, \u043e\u043a\u043e\u043b\u043e 7.5%; \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u2014 \u0443 <code>o_proj<\/code> \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f (9.5%). \u0422\u043e \u0435\u0441\u0442\u044c \u0441\u043b\u0430\u0431\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 4 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0447\u0443\u0436\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0438 \u0447\u0443\u0436\u043e\u043c \u0434\u0432\u0438\u0436\u043a\u0435, \u043f\u0440\u0438\u0447\u0451\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u0432 MLX int4.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0438.<\/strong> \u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0441\u043d\u044f\u0442\u044b \u043d\u0430 \u0434\u0432\u0443\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043e\u0434\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043a\u0438 \u0438 \u043d\u0430 36 + 48 \u043e\u043a\u043d\u0430\u0445. imatrix \u0438 GPTQ \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043e\u043a\u043d\u0430, \u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u0445 \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u0422\u043e\u0447\u043a\u0438 <code>sym6<\/code> \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u044b \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0443\u0442\u0438 Metal.<\/p>\n<\/li>\n<\/ol>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/e9\/ab\/c9\/e9abc9ceeb12c31cde0eb813351d89b4.png\" alt=\"\u0420\u0438\u0441. 7. \u0420\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 KL: \u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442, GGUF \u0438 MLX\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/e9\/ab\/c9\/e9abc9ceeb12c31cde0eb813351d89b4.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/e9\/ab\/c9\/e9abc9ceeb12c31cde0eb813351d89b4.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 7. \u0420\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 KL: \u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442, GGUF \u0438 MLX<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 7. \u0420\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u0438 KL(bf16\u2016\u043a\u0432\u0430\u043d\u0442) \u0434\u043b\u044f 1.5B \u0438 2.9B. \u0422\u043e\u0447\u043a\u0438 \u043b\u0435\u0432\u0435\u0435 \u0438 \u043d\u0438\u0436\u0435 \u043b\u0443\u0447\u0448\u0435. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f KL \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0431\u043e\u0440\u0430.<\/em><\/p>\n<hr\/>\n<h3>11. \u041e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p><strong>\u0427\u0442\u043e \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u0433\u043b\u0430\u0432\u043d\u044b\u043c.<\/strong> \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438, \u043e\u0448\u0438\u0431\u043a\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0432 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u0432 \u00ab\u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u043c\u044b\u0445\u00bb \u043c\u0435\u0441\u0442\u0430\u0445 \u0441\u0435\u0442\u0438. \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (\u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u0430, \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u044b\u0445\u043e\u0434\u0430, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u043f\u0440\u044b\u0441\u043a\u0430) \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0432\u0438\u0434\u044f\u0442 (\u0440\u0430\u0437\u0434\u0435\u043b 5). \u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u043f\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u0434\u0443 \u043d\u0430 \u0431\u0430\u0439\u0442, \u0430 \u043d\u0435 \u043f\u043e \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0435, \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0438\u043d\u0430\u0447\u0435 \u043e\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442 \u0444\u0430\u0439\u043b.<\/p>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f.<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u0423\u0442\u0435\u0447\u043a\u0430 \u0432 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445.<\/strong> \u0420\u0430\u0437\u0434\u0435\u043b\u044b 4\u20135 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u044b \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435, \u043b\u0435\u0436\u0430\u0449\u0435\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430. \u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f (\u0432 \u043f\u043e\u043b\u044c\u0437\u0443 AW) \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u2014 \u043d\u0435\u0442. \u0412\u044b\u0432\u043e\u0434\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0430 4 \u2014 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438 \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435; \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 KL \u0438 ppl, \u043d\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.<\/strong> \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 downstream-\u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u043e\u0441\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0434\u043d\u0430 \u043b\u0438\u043d\u0435\u0439\u043a\u0430 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432.<\/strong> \u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0441\u0435\u0440\u0438\u0438 g1j; \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 g1d \u0438 g1h.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0437\u0431\u0440\u043e\u0441 GPTQ.<\/strong> \u0423 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e GPTQ-\u0447\u0438\u0441\u043b\u0430 \u0435\u0441\u0442\u044c \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043e\u043a\u043e\u043b\u043e \u00b11.5% KL (\u043e\u0434\u043d\u043e sd) \u0438 \u0440\u0430\u0437\u043c\u0430\u0445 \u0440\u0435\u043f\u043b\u0438\u043a \u043f\u043e ppl 0.15\u20130.4 \u043f.; \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0394ppl \u043c\u0435\u043d\u044c\u0448\u0435 0.3 \u043f. \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0443 \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u044b (\u0440\u0430\u0437\u0434\u0435\u043b 7.6).<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/strong> \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 KL \u043d\u0430 \u043e\u043a\u043d\u0430\u0445 \u0432\u044b\u0431\u043e\u0440\u0430, \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445 (\u0440\u0430\u0437\u0434\u0435\u043b 6.3, \u0440\u0430\u0437\u0434\u0435\u043b 7.4). \u0421\u043e\u0441\u0442\u0430\u0432 \u0432\u044b\u0431\u043e\u0440\u0430 \u2014 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0437\u0430\u0432\u044b\u0448\u0435\u043d.<\/strong> \u041e\u0442\u0447\u0451\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 (13.3B: \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043e \u221232.9%, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043e \u221221.1%), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043c\u0435\u0440\u0443 \u0444\u0430\u0439\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u0438\u0431\u043e\u0440\u044b \u043d\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c\u044b.<\/strong> fake-\u043f\u0443\u0442\u044c \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 KL; \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0431\u043e\u0440\u0430\u043c\u0438 (CUDA\/fp64 \u0438 MPS\/fp32) \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d. \u041c\u043e\u0434\u0435\u043b\u0438 7.2B \u0438 13.3B \u043d\u0430 Mac \u043d\u0435 \u043f\u043e\u043c\u0435\u0449\u0430\u044e\u0442\u0441\u044f \u0438 \u043e\u0446\u0435\u043d\u0435\u043d\u044b \u043f\u043e \u0444\u0430\u0439\u043b\u0443 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 RTN<\/strong>, \u0430 \u043d\u0435 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0443\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u043c GPTQ; \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 (\u0441\u043d\u044f\u0442\u044c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435 GPTQ \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u044b\u0431\u043e\u0440) \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u044b<\/strong> \u0442\u043e\u0447\u043a\u0438 <code>sym6<\/code> \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0443\u0442\u0438 Metal (\u0440\u0430\u0437\u0434\u0435\u043b 10). \u041a\u0432\u043e\u0442\u0430 \u043e\u043a\u043e\u043d \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 (en 4 \/ code 4 \/ ru 2 \/ sr 2 \/ zh 2) \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043f\u043e \u0437\u0430\u043c\u0435\u0440\u0443 \u043d\u0430 1.5B g1j: \u043f\u0440\u0438 \u0431\u044e\u0434\u0436\u0435\u0442\u0435 +0.5% \u043f\u0440\u0438\u0446\u0435\u043b \u0432 \u043e\u0434\u0438\u043d \u044f\u0437\u044b\u043a \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0434\u0430\u0432\u0430\u043b \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 (en: \u221216.5% \u043f\u0440\u043e\u0442\u0438\u0432 \u221216.3%), \u0430 \u0440\u0443\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u044b (en 0.4 \/ code 0.35) \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u043b\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0435\u0437\u0434\u0435; \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u0442 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043d\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435\u0440\u0435\u0448\u0451\u043d\u043d\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043e \u0447\u0438\u0441\u043b\u0435 \u0433\u043e\u043b\u043e\u0432.<\/strong> \u041f\u0440\u0430\u0432\u043a\u0430 \u0441\u043b\u043e\u044f 0 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u0447\u0438\u0441\u043b\u043e \u0433\u043e\u043b\u043e\u0432 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c\u044e \u0434\u0432\u043e\u0439\u043a\u0438 (12 \u0443 0.1B \u0438 40 \u0443 2.9B \u043f\u0440\u043e\u0442\u0438\u0432 16, 32 \u0438 64 \u0443 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445). \u042d\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u044f\u0442\u0438 \u0442\u043e\u0447\u043a\u0430\u0445; fake-\u043f\u0443\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u044d\u0444\u0444\u0435\u043a\u0442, \u0437\u043d\u0430\u0447\u0438\u0442 \u0434\u0435\u043b\u043e \u043d\u0435 \u0432 Metal-\u044f\u0434\u0440\u0430\u0445. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 13.3B (H=64) \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0440\u0435\u0448\u0438\u0442: \u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u00ab\u043d\u0438\u0447\u0435\u0433\u043e\u00bb, \u0447\u0442\u043e \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e \u0441 \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439. \u042f \u043f\u0440\u0438\u0432\u043e\u0436\u0443 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u0430 \u043d\u0435 \u043a\u0430\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435 \u0432\u044b\u044f\u0441\u043d\u0435\u043d \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f<\/strong> \u043f\u0440\u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441\u043b\u043e\u044f 0 \u0432 bf16 (\u0440\u0430\u0437\u0434\u0435\u043b 4.6).<\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h3>12. \u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 RWKV-7 \u044f \u043f\u043e\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u044f \u00ab\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435\u00bb \u043f\u0440\u0438 4-\u0431\u0438\u0442\u043d\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u0432\u0443\u043c\u044f \u0430\u0434\u0440\u0435\u0441\u0430\u043c\u0438: \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0435\u0439 \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u043c. \u0424\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 (\u043e\u0434\u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432 bf16 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432 6 \u0431\u0438\u0442) \u0441\u0442\u043e\u044f\u0442 \u043e\u043a\u043e\u043b\u043e 1.6% \u0444\u0430\u0439\u043b\u0430 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 2.9B \u0432 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043a\u0443. \u041d\u0430 \u043d\u0438\u0445 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0443 \u00ab\u0432\u0440\u0435\u0434 \u043d\u0430 \u0431\u0430\u0439\u0442\u00bb \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441 GPTQ \u043d\u0430 \u0442\u0443 \u0436\u0435 \u0441\u0435\u0442\u043a\u0443: \u0432\u043c\u0435\u0441\u0442\u0435 \u043e\u043d\u0438 \u0441\u043d\u0438\u0436\u0430\u044e\u0442 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u043e \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438 \u043e\u0442 +2.76% (0.1B) \u0434\u043e +0.70% (13.3B) \u043f\u0440\u0438 31.6\u201335.2% \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 bf16, \u0430 \u043f\u0440\u0435\u0441\u0435\u0442 REDUCTION \u0441 GPTQ \u0434\u0430\u0451\u0442 +0.46\u2026+0.07% \u043f\u0440\u0438 46\u201350%. \u041f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0444\u0430\u0439\u043b\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u043e\u0447\u043d\u0435\u0435 GGUF \u0438 MLX \u043d\u0430 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445. \u042f \u0442\u0430\u043a\u0436\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u043b \u0434\u0432\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c: \u0443\u0442\u0435\u0447\u043a\u0443 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0432 \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 (\u0437\u0430\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u0432 2.3 \u0440\u0430\u0437\u0430 \u043d\u0430 GPTQ) \u0438 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 GPTQ \u043c\u0435\u0436\u0434\u0443 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438.<\/p>\n<p><strong>\u0414\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430.<\/strong> \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 downstream-\u0437\u0430\u0434\u0430\u0447\u0430\u0445; \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 GPTQ; \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043f\u043e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0435 \u043e \u0447\u0438\u0441\u043b\u0435 \u0433\u043e\u043b\u043e\u0432 \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435; \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u0436\u0430\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0432\u0435\u0440\u0445\u043d\u0438\u0435 \u0441\u043b\u043e\u0438 \u0438 state-tuning \u043d\u0430\u0434 REDUCTION) \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u043e \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443.<\/p>\n<hr\/>\n<h3>\u041b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0430<\/h3>\n<ol>\n<li>\n<p>Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. 2022. arXiv:2210.17323.<\/p>\n<\/li>\n<li>\n<p>Dettmers, T., Lewis, M., Belkada, Y., Zettlemoyer, L. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale. 2022. arXiv:2208.07339.<\/p>\n<\/li>\n<li>\n<p>Sun, M., Chen, X., Kolter, J. Z., Liu, Z. Massive Activations in Large Language Models. 2024. arXiv:2402.17762.<\/p>\n<\/li>\n<li>\n<p>Lin, J., Tang, J., Tang, H., Yang, S., Dang, X., Han, S. AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. 2023. arXiv:2306.00978.<\/p>\n<\/li>\n<li>\n<p>Peng, B. et al. RWKV-7 \u00abGoose\u00bb with Expressive Dynamic State Evolution. 2025.<\/p>\n<\/li>\n<li>\n<p>llama.cpp (GGUF, <code>llama-quantize<\/code>, imatrix). <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\" rel=\"noopener nofollow\">https:\/\/github.com\/ggml-org\/llama.cpp<\/a><\/p>\n<\/li>\n<li>\n<p>MLX (<code>mx.quantize<\/code>). <a href=\"https:\/\/github.com\/ml-explore\/mlx\" rel=\"noopener nofollow\">https:\/\/github.com\/ml-explore\/mlx<\/a><\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h3>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 A. \u0427\u0435\u0442\u044b\u0440\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438\u0441\u043a\u0430\u0437\u0438\u0432\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f<\/h3>\n<ol>\n<li>\n<p><strong>\u0417\u0430\u043f\u0438\u0441\u044c \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435\u0439 \u0431\u0443\u0444\u0435\u0440\u0430 \u0432 <\/strong><code><strong>torch.linalg.cholesky(upper=True)<\/strong><\/code> (torch 2.13, macOS). \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0440\u0442\u0438\u043b\u0430 \u0443\u0436\u0435 \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u0434\u044b \u0438 \u0434\u0430\u0432\u0430\u043b\u0430 segfault \u0432 MPSGraph. \u0417\u0430\u043c\u0435\u043d\u0430 \u2014 \u043d\u0438\u0436\u043d\u0438\u0439 \u0444\u0430\u043a\u0442\u043e\u0440 \u0441 \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u043f\u043e\u0431\u0438\u0442\u043d\u043e \u0442\u043e\u0442 \u0436\u0435 U. \u041d\u0430 CUDA\/MKL \u0431\u0430\u0433\u0430 \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u043e\u0447\u043d\u044b\u0435 \u043d\u0443\u043b\u0438 \u0432 GPTQ.<\/strong> GPTQ \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u043c\u0451\u0440\u0442\u0432\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 <em>\u0442\u043e\u0447\u043d\u043e<\/em>. \u041d\u0430 \u043d\u0443\u043b\u0435\u0432\u043e\u043c \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a\u0435 \u0441\u0434\u0432\u0438\u0433 <code>sb6<\/code> \u0441\u0447\u0438\u0442\u0430\u043b\u0441\u044f \u043a\u0430\u043a 0\/0 \u0438 \u0434\u0430\u0432\u0430\u043b NaN. \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0433\u0435\u0439\u0442 \u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0438 \u0431\u044b\u043b \u0441\u043d\u044f\u0442 \u0441 \u044d\u0442\u0438\u043c NaN \u0438 \u043e\u0445\u0440\u0430\u043d\u044f\u043b \u0434\u0435\u0444\u0435\u043a\u0442. \u0423\u0440\u043e\u043a: \u043f\u043e\u0431\u0438\u0442\u043d\u044b\u0439 \u0433\u0435\u0439\u0442 \u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 <em>\u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/em>, \u0430 \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a \u0445\u0435\u0448\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439).<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043b\u0438\u044f\u043d\u0438\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u0439.<\/strong> <code>dict(done, **overrides)<\/code> \u043e\u0442\u0434\u0430\u0451\u0442 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 \u043a\u043b\u044e\u0447\u0438 \u043f\u0440\u0430\u0432\u043e\u043c\u0443 \u0441\u043b\u043e\u0432\u0430\u0440\u044e. \u0412\u044b\u0431\u043e\u0440 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0437\u0430\u0442\u0438\u0440\u0430\u043b \u043e\u0442\u043c\u0435\u0442\u043a\u0443 \u00ab\u0443\u0436\u0435 \u043f\u0440\u043e\u0448\u043b\u043e GPTQ\u00bb, \u0438 \u043f\u0440\u044f\u043c\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b GPTQ-\u0432\u0435\u0441\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u043b\u043e\u0441\u044c \u0432 bf16.<\/strong> \u0414\u043b\u044f 8-\u0431\u0438\u0442\u043d\u044b\u0445 \u043a\u043e\u0434\u043e\u0432 \u044d\u0442\u043e \u0432\u0442\u043e\u0440\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 1\/4 \u0448\u0430\u0433\u0430 \u0441\u0435\u0442\u043a\u0438: +2\u20133% KL \u0443 REDUCTION \u043f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 \u0444\u0430\u0439\u043b\u0430 \u0432 PyTorch (\u043d\u0430 1.5B +3.1% \u043a fake-\u043f\u0443\u0442\u0438, \u043f\u0440\u0438 fp16-\u0434\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438 +0.1%). \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u0432 fp16: \u0442\u0430 \u0436\u0435 \u043f\u0430\u043c\u044f\u0442\u044c, \u0432 8 \u0440\u0430\u0437 \u0442\u043e\u0447\u043d\u0435\u0435. Metal \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0437\u0430\u0442\u0440\u043e\u043d\u0443\u0442 (\u2264 0.04 \u043f. ppl): \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u044f\u0434\u0440\u0430\u0445, \u0430 bf16-\u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0438 LoRA. \u041f\u043e\u0431\u043e\u0447\u043d\u043e \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u043e\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0433\u0435\u0439\u0442\u044b, \u0441\u0432\u0435\u0440\u044f\u0432\u0448\u0438\u0435 \u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0443 \u0441 fake-\u043f\u0443\u0442\u0451\u043c \u0437\u0430\u043f\u0438\u0441\u0438: \u0437\u0430\u043f\u0438\u0441\u044c \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0435\u0442 fp32 \u0432 bf16 \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u0430 \u0446\u0435\u043f\u043e\u0447\u043a\u0430 fp32 \u2192 fp16 \u2192 bf16 \u0434\u0430\u0451\u0442 \u0434\u0432\u043e\u0439\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435; \u0442\u0435\u043f\u0435\u0440\u044c \u0442\u0430\u043a\u0438\u0435 \u0433\u0435\u0439\u0442\u044b \u0441\u0432\u0435\u0440\u044f\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 <code>dtype=float32<\/code>.<\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h3>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 B. \u0422\u0430\u0431\u043b\u0438\u0446\u044b \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u0430<\/h3>\n<p>\u0412\u0435\u0437\u0434\u0435 20 000 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432, \u043e\u043a\u043d\u0430 \u0440\u0435\u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u043f\u043b\u0435\u0447; \u0447\u0438\u0441\u043b\u0430 \u0432 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445, 95%-\u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432 \u0441\u043a\u043e\u0431\u043a\u0430\u0445. \u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u043f\u0440\u0438\u0431\u043e\u0440; \u0434\u043b\u044f 1.5B \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0441\u0442\u0440\u043e\u043a\u0438 \u00abMac\u00bb \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 6.4 \u043d\u0430 \u0434\u043e\u043b\u0438 \u043f\u0443\u043d\u043a\u0442\u0430. \u0422\u0430\u0431\u043b\u0438\u0446\u044b B.1\u2013B.2 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0434\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043d\u0430 \u0444\u0430\u0439\u043b\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 (\u0440\u0430\u0437\u0434\u0435\u043b 7); \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u043f\u043e \u0444\u0430\u0439\u043b\u0430\u043c \u2014 \u0440\u0430\u0437\u0434\u0435\u043b 9.<\/p>\n<h4>B.1 \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 (\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 KL \u0438 ppl)<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL en<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221238.8 [\u221240.5; \u221237.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221235.2 [\u221238.8; \u221231.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221243.6 [\u221245.9; \u221241.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.46 [\u22123.20; \u22121.72]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22123.02 [\u22123.84; \u22122.24]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221215.7 [\u221218.3; \u221212.9]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22127.5 [\u221212.2; \u22123.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22128.4 [\u221211.4; \u22124.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.19 [\u22120.70; +0.31]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.65 [\u22121.31; +0.00]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.5 [\u221219.9; \u221215.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.4 [\u221220.1; \u221214.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221212.9 [\u221215.9; \u22129.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.59 [\u22120.93; \u22120.24]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.59 [\u22121.02; \u22120.15]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221218.9 [\u221221.7; \u221216.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221218.7 [\u221223.0; \u221214.5]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221215.6 [\u221218.2; \u221212.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.62 [\u22120.94; \u22120.30]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.23 [\u22120.77; +0.33]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221220.7 [\u221224.1; \u221217.5]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221225.1 [\u221227.8; \u221222.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221213.6 [\u221216.5; \u221210.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.34 [\u22120.62; \u22120.05]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.36 [\u22120.63; \u22120.06]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.1 [\u221223.4; \u221218.9]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221223.4 [\u221226.6; \u221220.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.4 [\u221221.4; \u221213.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.27 [\u22120.51; \u22120.05]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.52 [\u22120.79; \u22120.25]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e KL \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0440\u0435\u0437\u0435. \u041f\u043e ppl \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c \u0432 \u0434\u0432\u0443\u0445 \u043a\u043b\u0435\u0442\u043a\u0430\u0445: \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 0.4B \u0438 \u043a\u043e\u0434 \u043d\u0430 2.9B.<\/p>\n<h4>B.2 GPTQ \u043f\u0440\u043e\u0442\u0438\u0432 RTN \u043d\u0430 \u0441\u0435\u0442\u043a\u0435 COMPRESSION<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL en<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221234.3 [\u221235.9; \u221232.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221238.7 [\u221241.1; \u221236.4]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221237.3 [\u221240.6; \u221234.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.60 [\u22123.22; \u22122.00]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.40 [\u22123.44; \u22121.46]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221238.2 [\u221240.7; \u221235.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221232.4 [\u221236.5; \u221228.5]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221237.2 [\u221240.5; \u221233.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.31 [\u22121.91; \u22120.69]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.36 [\u22122.81; \u22121.87]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.2 [\u221244.9; \u221239.3]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221240.2 [\u221245.5; \u221235.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221249.9 [\u221252.6; \u221247.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.31 [\u22121.71; \u22120.92]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.91 [\u22122.61; \u22121.21]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.5 [\u221245.3; \u221239.5]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.2 [\u221246.2; \u221238.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221246.4 [\u221250.3; \u221242.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.26 [\u22121.67; \u22120.85]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.26 [\u22121.84; \u22120.67]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.8 [\u221232.5; \u221225.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221225.4 [\u221229.8; \u221221.2]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221238.5 [\u221242.0; \u221234.7]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.53 [\u22120.80; \u22120.26]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.46 [\u22120.87; \u22120.06]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.8 [\u221232.1; \u221225.7]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221226.4 [\u221231.6; \u221221.9]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221238.5 [\u221242.6; \u221234.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.28 [\u22120.53; \u22120.02]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.41 [\u22120.81; \u22120.02]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>GPTQ \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043b\u0443\u0447\u0448\u0435 RTN \u043f\u043e KL \u0438 \u043f\u043e ppl \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u043f\u043e \u043a\u043e\u0434\u0443.<\/p>\n<h4>B.3 \u0423\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 (\u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 + GPTQ) \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0438 \u0432\u043a\u043b\u0430\u0434 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 GPTQ<\/h4>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u2014 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 KL, \u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0435 \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439 \u0434\u0432\u0443\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438; 1 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435, KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435, KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435, ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043f\u043e\u0432\u0435\u0440\u0445 GPTQ, KL \u0442\u0435\u043a\u0441\u0442 \/ \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043e \/ \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u0442\u0435\u043a\u0441\u0442 \/ \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221262.3 [\u221263.5; \u221261.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221263.1 [\u221265.0; \u221261.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22124.60 [\u22125.32; \u22123.88]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.6 [\u221244.8; \u221240.1] \/ \u221241.1 [\u221243.7; \u221238.4]<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.94 [0.91; 0.97] \/ 1.05 [1.00; 1.10]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221245.6 [\u221248.7; \u221242.2]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.8 [\u221246.2; \u221239.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.64 [\u22122.20; \u22121.08]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221212.1 [\u221215.5; \u22128.5] \/ \u22128.9 [\u221211.9; \u22125.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.04 [1.01; 1.08] \/ 1.00 [0.95; 1.04]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221252.0 [\u221254.4; \u221249.3]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221255.2 [\u221257.9; \u221252.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.73 [\u22122.20; \u22121.27]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221216.9 [\u221219.8; \u221214.3] \/ \u221210.5 [\u221213.7; \u22127.3]<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.01 [0.97; 1.04] \/ 1.03 [0.98; 1.08]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221245.2 [\u221249.4; \u221240.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221251.4 [\u221255.7; \u221246.7]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.46 [\u22121.92; \u22121.01]<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u22124.7 [\u221210.4; +2.0]<\/strong> \/ \u22129.3 [\u221214.5; \u22123.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>1.18 [1.11; 1.25]<\/strong> \/ 1.08 [1.00; 1.16]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221242.5 [\u221245.9; \u221239.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221245.0 [\u221247.9; \u221241.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.76 [\u22121.14; \u22120.39]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221219.2 [\u221222.6; \u221215.5] \/ \u221210.5 [\u221213.9; \u22127.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.02 [0.96; 1.08] \/ 1.04 [0.98; 1.09]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221241.3 [\u221244.7; \u221237.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221247.6 [\u221251.5; \u221243.2]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.55 [\u22120.79; \u22120.31]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.5 [\u221221.2; \u221213.4] \/ \u221214.7 [\u221218.0; \u221211.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.05 [1.00; 1.10] \/ 1.03 [0.98; 1.10]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0423\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u0435 \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u043f\u043e KL \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0438 \u043e\u0434\u043d\u043e \u043e\u043a\u043d\u043e \u0438\u0437 360 \u043d\u0435 \u0445\u0443\u0436\u0435; ppl \u0442\u0435\u043a\u0441\u0442\u0430 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u0435\u0437\u0434\u0435. \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u043f\u043e\u0432\u0435\u0440\u0445 GPTQ \u0437\u043d\u0430\u0447\u0438\u043c \u043d\u0430 \u043f\u044f\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438\u0437 \u0448\u0435\u0441\u0442\u0438; \u043d\u0430 2.9B \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u043b\u044c (\u0432 \u0441\u0442\u0440\u043e\u043a\u0435 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430), \u043d\u0430 0.4B \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439: \u22122.0% [\u22128.6; +4.1], 7 \u043e\u043a\u043e\u043d \u0438\u0437 12 \u0445\u0443\u0436\u0435. \u0421\u0442\u0440\u043e\u043a\u0430 2.9B \u2014 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u043f\u0430\u0440\u044b \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 7.6).<\/p>\n<h4>B.4 GPTQ \u043f\u0440\u043e\u0442\u0438\u0432 RTN \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0435 REDUCTION<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL en<\/p>\n<\/th>\n<th>\n<p align=\"left\">KL \u043a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl \u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">ppl \u043a\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221222.4 [\u221225.1; \u221219.7]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.7 [\u221232.6; \u221225.3]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221227.9 [\u221230.2; \u221225.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.03 [\u22120.16; +0.11]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.13 [\u22120.28; +0.04]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221222.7 [\u221225.6; \u221219.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.5 [\u221226.1; \u221217.6]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221227.2 [\u221230.4; \u221223.9]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.08 [\u22120.22; +0.06]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.04 [\u22120.15; +0.07]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.4 [\u221232.0; \u221224.5]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221224.5 [\u221231.5; \u221218.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221232.1 [\u221235.0; \u221228.7]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.08 [\u22120.18; +0.03]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.02 [\u22120.16; +0.10]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2.9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221229.6 [\u221233.0; \u221226.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221226.2 [\u221232.8; \u221219.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221233.6 [\u221236.5; \u221230.0]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.06 [\u22120.16; +0.03]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.00 [\u22120.13; +0.13]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7.2B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221221.1 [\u221225.0; \u221216.9]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221212.6 [\u221219.6; \u22124.8]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221224.3 [\u221230.0; \u221216.5]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.01 [\u22120.06; +0.09]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.00 [\u22120.10; +0.09]<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13.3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221217.1 [\u221220.3; \u221213.7]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221216.2 [\u221221.1; \u221210.4]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221231.6 [\u221236.2; \u221227.1]<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.01 [\u22120.05; +0.06]<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.01 [\u22120.09; +0.07]<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<hr\/>\n<h3>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 C. \u041f\u0440\u0438\u0431\u043e\u0440\u044b \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0440\u0435\u0434\u0430<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u0440\u0438\u0431\u043e\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0447\u0442\u043e \u043c\u0435\u0440\u044f\u0435\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0433\u0434\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>ablate_subgroups<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">KL(bf16\u2016\u043a\u0432\u0430\u043d\u0442) \u043d\u0430 fake-\u043f\u0443\u0442\u0438 (torch), leave-one-out \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c, \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Mac (MPS), \u0441\u0435\u0440\u0432\u0435\u0440 (CUDA)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>loo_compression_kl_1909<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e \u0436\u0435, \u043d\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0430 sb6 \u0438 MLX-\u043a\u0435\u0440\u043d\u0435\u043b\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e\u043b\u044c\u043a\u043e Mac<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>ce_real_path_1909<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">ppl \u0438 KL \u0438\u0437 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0439 \u0438\u0437 <code>.rwkvq<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e\u043b\u044c\u043a\u043e Mac<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>bench_files_ab_2009<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u0435\u043a\u043e\u0434\u0430 \u0434\u0432\u0443\u0445 \u0444\u0430\u0439\u043b\u043e\u0432, \u0447\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 ABBA \u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e\u043b\u044c\u043a\u043e Mac<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>oproj_profile_2009<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0432\u0445\u043e\u0434\u0430 o_proj \u043f\u043e \u0441\u043b\u043e\u044f\u043c (E[x\u00b2], \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Mac, \u0441\u0435\u0440\u0432\u0435\u0440<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>inject_2109<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u043f\u0440\u044b\u0441\u043a\u0430 \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0435\u0440\u0432\u0435\u0440<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041e\u0431\u0449\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430.<\/strong> \u041a\u043e\u0440\u043f\u0443\u0441 <code>eval_corpus_multiling<\/code> (\u0440\u0430\u0437\u0434\u0435\u043b 3.4) \u2014 \u0434\u043b\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u0432 4\u20135; \u0447\u0438\u0441\u0442\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u2014 \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445. \u042d\u0442\u0430\u043b\u043e\u043d \u2014 \u043b\u043e\u0433\u0438\u0442\u044b bf16-\u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0435 \u0432 fp32 \u0438 \u0441\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a (5.09 \u0413\u0411 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c). \u042d\u0442\u0430\u043b\u043e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u043e\u043c, \u0430 \u043d\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0444\u0430\u0439\u043b\u0430.<\/p>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0440\u0435\u0434\u0430.<\/strong><\/p>\n<ul>\n<li>\n<p>Mac M4 (16 \u0413\u0411, \u0431\u0435\u0437 \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440\u0430): \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 MLX-\u043f\u0443\u0442\u044c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, ppl \u0441 \u0444\u0430\u0439\u043b\u0430. \u041f\u043e\u0442\u043e\u043b\u043e\u043a \u2014 2.9B; 7.2B \u0432 fp32 (28.8 \u0413\u0411) \u043d\u0435\u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0440\u0432\u0435\u0440 4\u00d7RTX 4090, 251 \u0413\u0411 RAM, 16 \u044f\u0434\u0435\u0440, 1.5 \u0422\u0411: fake-\u043f\u0443\u0442\u044c, \u044d\u0442\u0430\u043b\u043e\u043d\u044b, \u043f\u0440\u043e\u0444\u0438\u043b\u0438. fp32-\u044d\u0442\u0430\u043b\u043e\u043d 2.9B \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0440\u0442\u0435 \u0437\u0430 4 \u043c\u0438\u043d\u0443\u0442\u044b, 7.2B \u2014 \u043d\u0430 CPU \u0437\u0430 25 \u043c\u0438\u043d\u0443\u0442 (\u0432 24 \u0413\u0411 \u043a\u0430\u0440\u0442\u044b fp32 \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u0435\u0442).<\/p>\n<\/li>\n<li>\n<p>Metal-\u044f\u0434\u0440\u0430 (\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 Metal \u0447\u0435\u0440\u0435\u0437 <code>mx.fast.metal_kernel<\/code>, 7 \u0444\u0430\u0439\u043b\u043e\u0432 \u0432 <code>backends\/metal<\/code>) \u043d\u0430 CUDA \u043d\u0435 \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0414\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c.<\/strong> \u041a\u043e\u0434: <a href=\"https:\/\/github.com\/RafaelUI\/rwkv-quant\" rel=\"noopener nofollow\">https:\/\/github.com\/RafaelUI\/rwkv-quant<\/a><\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1100498\/\">https:\/\/habr.com\/ru\/articles\/1100498\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>1. \u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u041c\u043e\u0434\u0435\u043b\u0438 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 RWKV \u0441 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u043d\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043d\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0434\u043b\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u044f \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 rwkv-quant, \u0441\u0436\u0438\u043c\u0430\u044e\u0449\u0438\u0439 RWKV-7 \u0434\u0432\u0443\u043c\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u043c\u0438, \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.\u0420\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u0438 \u00ab\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044f\u00bb. \u041f\u0440\u0435\u0441\u0435\u0442 COMPRESSION \u043d\u0430 2.9B \u043f\u043e\u043a\u0430\u0437\u0430\u043b +4.04% \u043f\u043e \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 +2.85% \u043d\u0430 1.5B. \u0412\u044b\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0437\u0430\u043d\u044f\u043b\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0440\u0438\u0432\u0435\u043b\u043e \u043a \u043d\u0430\u0431\u043e\u0440\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430.\u0412\u043a\u043b\u0430\u0434 \u0440\u0430\u0431\u043e\u0442\u044b.\u041b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c. \u0420\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 KL \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u043c\u0430\u0442\u0440\u0438\u0446 (leave-one-out) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 2.9B \u0432\u0440\u0435\u0434 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0435\u043d \u0432 \u0434\u0432\u0443\u0445 \u043c\u0435\u0441\u0442\u0430\u0445: \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 (o_proj \u0441\u043b\u043e\u044f 0) \u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430. \u0425\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432 bf16 \u0441\u0442\u043e\u0438\u0442 0.5% \u0444\u0430\u0439\u043b\u0430 \u0438 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 39% KL; \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441 5 \u043d\u0430 6 \u0431\u0438\u0442 \u0441\u0442\u043e\u0438\u0442 1.1% \u0444\u0430\u0439\u043b\u0430 \u0438 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0435\u0449\u0451 22% (\u0440\u0430\u0437\u0434\u0435\u043b 4).\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u044c. \u0412\u0445\u043e\u0434 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0435\u0441\u0451\u0442 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b, \u043d\u043e \u0441\u0430\u043c\u0430 \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432\u0440\u0435\u0434 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u0443 7.2B \u043e\u043d\u0430 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0430 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0445, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0445. \u042f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e, \u0447\u0442\u043e \u0442\u0440\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0438 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442: \u043e\u0448\u0438\u0431\u043a\u0430 \u0432 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435 (\u0440\u0430\u0437\u0434\u0435\u043b 5).\u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0443 \u00ab\u0432\u0440\u0435\u0434 \u043d\u0430 \u0431\u0430\u0439\u0442\u00bb, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0432 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b (\u043e\u0434\u043d\u0430 \u0446\u0435\u043d\u0430 \u0431\u0430\u0439\u0442\u0430 \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u044f), \u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u0437\u0430 \u043f\u0440\u043e\u0445\u043e\u0434 (\u0440\u0430\u0437\u0434\u0435\u043b 6).GPTQ \u043d\u0430 \u0441\u0435\u0442\u043a\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0430, \u044f\u0434\u0435\u0440 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0444\u0430\u0439\u043b\u0430; \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u0438 \u0447\u0442\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0438 GPTQ \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e (\u0440\u0430\u0437\u0434\u0435\u043b 7). GPTQ \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0435 REDUCTION \u043e\u043f\u0438\u0441\u0430\u043d \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 8.\u0421\u0432\u043e\u0434\u043a\u0430 \u043f\u043e \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c \u043e\u0442 0.1B \u0434\u043e 13.3B \u0441 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u043c\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u043d\u044b\u043c \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u043e\u043c \u043f\u043e \u043e\u043a\u043d\u0430\u043c (\u0440\u0430\u0437\u0434\u0435\u043b 9), \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 GGUF \u0438 MLX \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0444\u0430\u0439\u043b\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 10).\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0445\u043e\u0434\u043a\u0438. \u0423\u0442\u0435\u0447\u043a\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0432 \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438 \u0435\u0451 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043c\u0430\u0441\u0448\u0442\u0430\u0431 (\u0440\u0430\u0437\u0434\u0435\u043b 3.4); \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 GPTQ \u043c\u0435\u0436\u0434\u0443 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u0435\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 7.6); \u0447\u0435\u0442\u044b\u0440\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438\u0441\u043a\u0430\u0437\u0438\u0432\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f (\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 A).2. \u0421\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043a\u043e\u0440\u0440\u0435\u043a\u0446\u0438\u0435\u0439 \u043e\u0448\u0438\u0431\u043a\u0438. GPTQ (Frantar et al., 2022) \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0438 \u0440\u0430\u0437\u043d\u043e\u0441\u0438\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u0430 \u0435\u0449\u0451 \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439. \u042f \u043f\u0435\u0440\u0435\u043d\u043e\u0448\u0443 GPTQ \u043d\u0430 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 (\u0440\u0430\u0437\u0434\u0435\u043b 7) \u0438 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 \u0442\u0438\u043f\u0430 Q6_K (\u0440\u0430\u0437\u0434\u0435\u043b 8). \u0424\u043e\u0440\u043c\u0430\u0442 \u0444\u0430\u0439\u043b\u0430 \u0438 \u044f\u0434\u0440\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f.\u0412\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c. AWQ \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 imatrix \u0432 llama.cpp \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043a\u0430\u043d\u0430\u043b\u044b. \u0412 \u043c\u043e\u0451\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 (AW, activation-weighted) \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0432\u044b\u0431\u043e\u0440 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0438 \u0441\u0434\u0432\u0438\u0433\u0430 \u0433\u0440\u0443\u043f\u043f \u0432\u0435\u0441\u043e\u0432; \u0431\u0435\u0437 \u043d\u0435\u0451 4 \u0431\u0438\u0442\u0430 \u0432 o_proj \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u044e\u0442 2.9B (\u0440\u0430\u0437\u0434\u0435\u043b 4.3).\u0412\u044b\u0431\u0440\u043e\u0441\u044b \u0438 \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438. Dettmers et al. (2022, LLM.int8()) \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0432\u044b\u0431\u0440\u043e\u0441\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u0430\u043d\u0430\u043b\u0430\u0445 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0438 \u0438\u0445 \u0440\u043e\u043b\u044c \u0432 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432. Sun et al. (2024) \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u00ab\u043c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438\u00bb \u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u044b\u0445 \u0432 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0445 \u043a\u0430\u043d\u0430\u043b\u0430\u0445. \u041c\u0430\u0441\u0441\u0438\u0432\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 o_proj \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 4.3) \u2014 \u043f\u0440\u044f\u043c\u0430\u044f \u0440\u043e\u0434\u043d\u044f \u044d\u0442\u0438\u0445 \u044f\u0432\u043b\u0435\u043d\u0438\u0439, \u043d\u043e, \u043a\u0430\u043a \u044f \u043f\u043e\u043a\u0430\u0436\u0443, \u0435\u0433\u043e \u0441\u0438\u043b\u0430 \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u0434.3. \u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u04303.1 \u041c\u043e\u0434\u0435\u043b\u0438\u0418\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043a\u0430 RWKV-7 \u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432. \u0414\u043b\u044f \u0438\u0437\u043e\u043b\u044f\u0446\u0438\u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0442\u0440\u0438 \u043f\u0430\u0440\u044b: 0.4B\/1.5B (\u043e\u0434\u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430, \u0448\u0438\u0440\u0438\u043d\u0430 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435), 2.9B\/7.2B (\u043e\u0434\u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 L=32, \u0448\u0438\u0440\u0438\u043d\u0430 2560 \u043f\u0440\u043e\u0442\u0438\u0432 4096) \u0438 7.2B\/13.3B (\u043e\u0434\u043d\u0430 \u0448\u0438\u0440\u0438\u043d\u0430, \u0433\u043b\u0443\u0431\u0438\u043d\u0430 32 \u043f\u0440\u043e\u0442\u0438\u0432 61).\u043c\u043e\u0434\u0435\u043b\u044c\u0441\u043b\u043e\u0451\u0432 L\u0448\u0438\u0440\u0438\u043d\u0430 D\u0433\u043e\u043b\u043e\u0432 H=D\/64D\/L\u0441\u0435\u0440\u0438\u0438 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u04320.1B127681264g1d0.4B2410241642.7g1d1.5B2420483285.3g1d, g1h, g1j2.9B3225604080g1h, g1j7.2B32409664128g1j13.3B6140966467.2g1j\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b (\u0440\u0430\u0437\u0434\u0435\u043b\u044b 9\u201310) \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0441\u0435\u0440\u0438\u0438 g1j; \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 4) \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 g1d \u0438 g1h, \u044d\u0442\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0442\u0435\u043a\u0441\u0442\u0435.3.2 \u041f\u0440\u0435\u0441\u0435\u0442\u044b\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 rwkv-quant \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0432\u0443\u043c\u044f \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u043c\u0438.REDUCTION (\u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c). \u041f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 (proj) \u2014 8 \u0431\u0438\u0442, \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 sym_aw \u0441 \u0433\u0440\u0443\u043f\u043f\u043e\u0439 16 \u0432\u0435\u0441\u043e\u0432; cmix (\u043a\u0430\u043d\u0430\u043b\u043e\u0432\u043e\u0435 \u043c\u0438\u043a\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, FFN) \u2014 6 \u0431\u0438\u0442; \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438 \u0433\u043e\u043b\u043e\u0432\u0430 \u2014 8 \u0431\u0438\u0442; LoRA-\u0432\u0435\u0442\u043a\u0438 w, a, v \u2014 6 \u0431\u0438\u0442, g \u2014 8 \u0431\u0438\u0442 (\u0431\u043b\u043e\u043a 64). \u0421\u0436\u0430\u0442\u0438\u0435 \u043e\u043a\u043e\u043b\u043e 2.1x.COMPRESSION (\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u044b\u0439). \u041f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u2014 4 \u0431\u0438\u0442\u0430, \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 asym_sb6_aw \u0441 \u0433\u0440\u0443\u043f\u043f\u043e\u0439 32; cmix \u2014 4 \u0431\u0438\u0442\u0430, \u043d\u043e ffn.key \u2014 5 \u0431\u0438\u0442; \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u2014 6 \u0431\u0438\u0442 (\u0432 \u0440\u0430\u043d\u043d\u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445 5, \u0440\u0430\u0437\u0434\u0435\u043b 4.5); \u0433\u043e\u043b\u043e\u0432\u0430 \u2014 5 \u0431\u0438\u0442; LoRA-\u0432\u0435\u0442\u043a\u0438 \u0442\u0435 \u0436\u0435, \u0447\u0442\u043e \u0432 REDUCTION. \u0421\u0436\u0430\u0442\u0438\u0435 \u043e\u043a\u043e\u043b\u043e 3.1x.\u0412 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430\u0445 \u0441 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u043c _aw \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u0441\u0434\u0432\u0438\u0433 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0438\u0441\u043a\u043e\u043c, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u043c \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0443 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043a\u0430\u043d\u0430\u043b\u0430 E[x\u00b2], \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435, \u0441\u043d\u044f\u0442\u043e\u0439 \u043d\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u0420\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 REDUCTION \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f (\u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u043d\u0430 \u0431\u043b\u043e\u043a \u0438\u0437 16 \u0432\u0435\u0441\u043e\u0432, \u0431\u0435\u0437 \u0441\u0434\u0432\u0438\u0433\u0430; int8-\u043a\u043e\u0434\u044b \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432 \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0434\u043d\u043e\u0433\u043e fp16-\u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f \u043d\u0430 \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a \u0438\u0437 16 \u0431\u043b\u043e\u043a\u043e\u0432; 6 \u0438\u043b\u0438 8 \u0431\u0438\u0442). \u0420\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 COMPRESSION (sb6) \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u0447\u043d\u0430\u044f: \u0431\u043b\u043e\u043a \u0438\u0437 32 \u0432\u0435\u0441\u043e\u0432, \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a \u0438\u0437 8 \u0431\u043b\u043e\u043a\u043e\u0432 (256 \u043a\u043e\u043b\u043e\u043d\u043e\u043a); \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u0441\u0434\u0432\u0438\u0433 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f 6-\u0431\u0438\u0442\u043d\u044b\u043c\u0438 \u043a\u043e\u0434\u0430\u043c\u0438 qs \u0438 qm \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0432\u0443\u0445 fp16-\u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439 \u0441\u0443\u043f\u0435\u0440\u0431\u043b\u043e\u043a\u0430.\u041d\u0435 \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0438 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 bf16 \u043c\u0430\u043b\u044b\u0435 \u043f\u043e\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b (k_k, k_a, r_k), \u043d\u043e\u0440\u043c\u044b \u0438 bias LoRA-\u0432\u0435\u0442\u043e\u043a. \u0423 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043d\u0435\u0442 (\u0435\u0451 \u0432\u0445\u043e\u0434 \u2014 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u0441\u0435\u0442\u043a\u0430 \u0432 \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u0437 AW-\u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f; GPTQ \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u0435\u0442.\u0414\u0432\u0435 \u043f\u0440\u0430\u0432\u043a\u0438, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 4, \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 COMPRESSION: \u0432\u044b\u0445\u043e\u0434\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f (o_proj \u0441\u043b\u043e\u044f 0) \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432 bf16, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u2014 \u0432 6 \u0431\u0438\u0442\u0430\u0445. \u041f\u0440\u0435\u0441\u0435\u0442 \u0431\u0435\u0437 \u044d\u0442\u0438\u0445 \u043f\u0440\u0430\u0432\u043e\u043a \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u00ab\u0431\u0430\u0437\u043e\u0432\u044b\u043c\u00bb (\u0432 \u043b\u043e\u0433\u0430\u0445 compression_nol0).\u0420\u0438\u0441. 1. \u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 quantize(): \u043e\u0442 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 bf16 \u0434\u043e \u0444\u0430\u0439\u043b\u0430 .rwkvq\u0420\u0438\u0441. 1. \u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 quantize(). \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 E[x\u00b2] \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u043e\u043c, GPTQ \u0438 \u0437\u0430\u043f\u0438\u0441\u044c\u044e; \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0444\u0438\u0433 (bits_overrides). \u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b; \u0444\u043e\u0440\u043c\u0430\u0442 \u0438 \u0431\u044d\u043a\u0435\u043d\u0434 \u043e\u0442\u0434\u0435\u043b\u0435\u043d\u044b \u043e\u0442 \u043d\u0435\u0451.\u0420\u0438\u0441. 2. \u0411\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0431\u043b\u043e\u043a\u0430 RWKV-7 \u0432 \u0434\u0432\u0443\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445\u0420\u0438\u0441. 2. \u0411\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446 \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0430\u0445 REDUCTION \u0438 COMPRESSION. \u0412\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0434\u0432\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438: o_proj \u0441\u043b\u043e\u044f 0 \u0432 bf16 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043d\u0430 6 \u0431\u0438\u0442 \u0432\u043c\u0435\u0441\u0442\u043e 5 (\u0440\u0430\u0437\u0434\u0435\u043b 4). \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 (\u0440\u0430\u0437\u0434\u0435\u043b 6) \u043c\u0435\u043d\u044f\u0435\u0442 \u0431\u0438\u0442\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043f\u043e\u0432\u0435\u0440\u0445 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 COMPRESSION.3.3 \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043f\u0440\u0438\u0431\u043e\u0440\u044b\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 KL(bf16\u2016\u043a\u0432\u0430\u043d\u0442) \u043d\u0430 \u0442\u043e\u043a\u0435\u043d: \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0443 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f bf16-\u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0435 \u043b\u043e\u0433\u0438\u0442\u044b \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0432 fp32 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a (5.09 \u0413\u0411 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c). \u0412\u0442\u043e\u0440\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438 (\u0394ppl, \u0432 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445) \u043a bf16-\u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u0430\u043b\u043e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u043e\u043c (\u043e\u0446\u0435\u043d\u043a\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u043f\u043b\u0435\u0447\u0430), \u0430 \u043d\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0444\u0430\u0439\u043b\u0430.\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043f\u0443\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0438 \u0438\u0445 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 KL \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0431\u043e\u0440\u0430:fake-\u043f\u0443\u0442\u044c (PyTorch): \u0432\u0435\u0441\u0430 \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0438 \u0442\u0443\u0442 \u0436\u0435 \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432 \u043f\u043b\u043e\u0442\u043d\u044b\u0445 \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u0445; \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 Mac (MPS) \u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 (CUDA);\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c (MLX): \u043a\u043e\u0434\u044b \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u044b \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 .rwkvq \u0438 \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f Metal-\u044f\u0434\u0440\u0430\u043c\u0438; \u0442\u043e\u043b\u044c\u043a\u043e Mac.\u041f\u0440\u0438\u0431\u043e\u0440\u044b \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u0432 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0438 C.3.4 \u041e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0438 \u0443\u0442\u0435\u0447\u043a\u0430\u041f\u0435\u0440\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 eval_corpus_multiling (en\/ru\/sr, 38 \u043e\u043a\u043e\u043d \u043f\u043e 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445 4\u20136 \u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043b\u0435\u0436\u0430\u0449\u0438\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043f\u0430\u043a\u0435\u0442\u0430: \u043e\u0431\u0449\u0438\u0445 16-\u0433\u0440\u0430\u043c\u043c 100%. \u0414\u043b\u044f \u043c\u0435\u0442\u043e\u0434\u0430, \u043a\u0430\u043b\u0438\u0431\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043f\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0443, \u044d\u0442\u043e \u043f\u0440\u044f\u043c\u0430\u044f \u0443\u0442\u0435\u0447\u043a\u0430.\u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u0443\u0442\u0435\u0447\u043a\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d \u043d\u0430 GPTQ (\u0440\u0430\u0437\u0434\u0435\u043b 7), \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043f\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0443 \u043f\u0430\u043a\u0435\u0442\u0430: \u043d\u0430 1.5B \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e KL \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u221261.8% \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0438 \u221227.1% \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u0442\u0435\u0447\u043a\u0430 \u0437\u0430\u0432\u044b\u0441\u0438\u043b\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 2.3 \u0440\u0430\u0437\u0430. \u041a\u043e\u0434 \u0447\u0438\u0441\u0442 (\u043e\u0434\u043d\u043e \u043e\u043a\u043d\u043e \u0438\u0437 24 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0431\u0449\u0438\u0435 16-\u0433\u0440\u0430\u043c\u043c\u044b, 0.03%).AW-\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0437\u0430\u0434\u0435\u0442\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e: \u0435\u0451 23 \u043e\u043a\u043d\u0430 \u043f\u043e 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 23.9% 16-\u0433\u0440\u0430\u043c\u043c \u0441\u0442\u0430\u0440\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0438 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0441 13 \u0438\u0437 38 \u0435\u0433\u043e \u043e\u043a\u043e\u043d. \u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 4 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0435, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 AW \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043b\u0430 \u043f\u043e\u0438\u0441\u043a; \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 AW, \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0430\u0441\u044c. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 (\u043a\u0430\u043a\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430, \u043a\u0430\u043a\u043e\u0439 \u0431\u0438\u0442) \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435, \u0438 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u043e\u0431\u0430 \u043f\u043b\u0435\u0447\u0430. \u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440 \u0443\u0442\u0435\u0447\u043a\u043e\u0439 \u043d\u0435 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f: \u043d\u0430 1.5B \u221216.1% \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0438 \u221217.6% \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u043c.\u0427\u0438\u0441\u0442\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b (\u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u043e\u0431\u0449\u0435\u0439 16-\u0433\u0440\u0430\u043c\u043c\u044b \u043d\u0438 \u0441 \u043e\u0434\u043d\u0438\u043c \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u043c):eval_text_heldout: \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f en\/ru\/sr, \u043f\u043e 12 \u043e\u043a\u043e\u043d \u043d\u0430 \u044f\u0437\u044b\u043a (36 \u043e\u043a\u043e\u043d);eval_code_heldout: 24 \u043e\u043a\u043d\u0430 Python\/Swift (\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0439 \u043d\u0430\u0431\u043e\u0440);eval_code_open: 48 \u043e\u043a\u043e\u043d (24 Python, 24 Swift) \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432 \u0430\u0432\u0442\u043e\u0440\u0430.\u041f\u0440\u0430\u0432\u0438\u043b\u043e: \u043b\u044e\u0431\u043e\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043c\u0435\u0440\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445, \u0438 \u043f\u0435\u0440\u0435\u0434 \u0437\u0430\u043c\u0435\u0440\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 16-\u0433\u0440\u0430\u043c\u043c \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e. \u0420\u0430\u0437\u0434\u0435\u043b\u044b 4\u20135 \u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u043f\u043e\u0440\u043e\u0433\u0430 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 6.3 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u044b \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 (\u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 6.3 \u043e\u043a\u043d\u0430 \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0432 \u0432\u044b\u0431\u043e\u0440\u0435, \u043d\u043e \u043b\u0435\u0436\u0430\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430); \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 6.4. \u0420\u0430\u0437\u0434\u0435\u043b\u044b 7\u201310 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u0442\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b.3.5 \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u0414\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043f\u0430\u0440\u043d\u044b\u043c \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u043e\u043c \u043f\u043e \u043e\u043a\u043d\u0430\u043c (20 000 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432, \u043e\u043a\u043d\u0430 \u0440\u0435\u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u043f\u043b\u0435\u0447). \u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u0447\u0443\u0436\u0438\u043c\u0438 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u043c\u0438 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439 KL. \u0423 KL \u043f\u043e\u043b\u0443\u0448\u0438\u0440\u0438\u043d\u0430 95%-\u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 7\u201312% \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430 \u0441\u0430\u043c\u043e\u0433\u043e GPTQ \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0441 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c \u043e\u043a\u043e\u043d \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 (\u0440\u0430\u0437\u0434\u0435\u043b 7.6).4. \u0413\u0434\u0435 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043e \u043d\u0430\u0431\u043e\u0440\u0430\u0445. \u0418\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u0432 4 \u0438 5 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 (\u0440\u0430\u0437\u0434\u0435\u043b 3.4), \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0435\u043c\u0441\u044f \u0441 AW-\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0439. \u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u044b \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 AW; \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u0438 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435. \u0412\u0441\u0435 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b (\u0440\u0430\u0437\u0434\u0435\u043b\u044b 6.4\u201310) \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u0447\u0438\u0441\u0442\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0443\u0436\u0435 \u0441 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u0430\u0432\u043a\u0430\u043c\u0438 \u0432 \u043f\u0440\u0435\u0441\u0435\u0442\u0435.\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043f\u043e\u0447\u0435\u043c\u0443 COMPRESSION \u043d\u0430 2.9B \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043d\u0430 1.5B (+4.04% \u043f\u0440\u043e\u0442\u0438\u0432 +2.85% \u043f\u043e ppl)?4.1 \u0420\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0412\u043a\u043b\u0430\u0434 \u0433\u0440\u0443\u043f\u043f\u044b \u043c\u0430\u0442\u0440\u0438\u0446 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043c leave-one-out: \u0432\u043a\u043b\u0430\u0434 = KL(\u0432\u0441\u0451 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043e) \u2212 KL(\u0432\u0441\u0451, \u043a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b). \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u0441\u0435\u0440\u0438\u0438 g1h, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c (Mac, MLX):\u0433\u0440\u0443\u043f\u043f\u04301.5B: KL&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-500638","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500638","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=500638"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500638\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=500638"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=500638"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=500638"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}