{"id":494119,"date":"2026-09-09T16:33:20","date_gmt":"2026-09-09T16:33:20","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=494119"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=494119","title":{"rendered":"\u042f \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0443\u0436\u0430\u0442\u044c LLaMA-7B \u0434\u043e 1\u00a0\u0413\u0411 \u0431\u0435\u0437\u00a0\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412\u043e\u0442 \u0447\u0442\u043e\u00a0\u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u043f\u043e\u0441\u043b\u0435 60+ \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432"},"content":{"rendered":"
\n

\u0412\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u044f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 13\u00a0\u0413\u0411 \u0432\u0435\u0441\u043e\u0432 LLaMA-7B \u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u043b: \u0430\u00a0\u043f\u043e\u0447\u0435\u043c\u0443, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e? \u0427\u0442\u043e, \u0435\u0441\u043b\u0438 \u043d\u0435\u00a0\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0435\u00a0\u0443\u0447\u0438\u0442\u044c \u0435\u0451 \u0437\u0430\u043d\u043e\u0432\u043e \u0438 \u043d\u0435\u00a0\u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e, \u0430\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0442\u0435\u0445\u00a0\u0436\u0435 \u00ab\u043c\u043e\u0437\u0433\u043e\u0432\u00bb?<\/p>\n

\u0417\u0434\u0440\u0430\u0432\u044b\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0441\u043a\u0430\u0447\u0430\u043b\u00a0\u0431\u044b \u0433\u043e\u0442\u043e\u0432\u0443\u044e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u0448\u0451\u043b \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u043c\u0438. \u042f \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0446\u0435\u043b\u044c \u0443\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e 2\u00a0\u0413\u0411, \u0430\u00a0\u0432\u00a0\u0438\u0434\u0435\u0430\u043b\u0435\u00a0\u2014 \u0434\u043e\u00a0\u043e\u0434\u043d\u043e\u0433\u043e. \u0411\u0435\u0437\u00a0\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438, pruning \u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u0422\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u043d\u0430\u0434 \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438.<\/p>\n

\u0422\u0430\u043a \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f PCST\u00a0\u2014 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0438\u0430\u043b. \u0412\u00a0\u043d\u0451\u043c \u0443\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 60\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0441\u043e\u0442\u043d\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0441\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0434\u0438\u043d \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u0431\u0430\u0433 \u0438 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u0430\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0438\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0440\u043e\u0432\u043d\u043e \u0434\u043e\u00a0\u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u044f \u043d\u0435\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n

\u0421\u043f\u043e\u0439\u043b\u0435\u0440: \u043e\u0434\u043d\u043e\u0433\u043e \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 Q8\u00a0\u044f \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b<\/strong>. \u0422\u0435\u043a\u0443\u0449\u0438\u0439 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 2.05\u00a0GiB<\/strong> \u0438 \u043f\u043e\u043a\u0430 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 Q3_K_M \u0438 \u043f\u043e\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443, \u0438 \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0417\u0430\u0442\u043e \u044f \u043d\u0430\u0442\u043a\u043d\u0443\u043b\u0441\u044f \u043d\u0430\u00a0\u0432\u0435\u0449\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 \u0446\u0438\u0444\u0440\u044b: \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u043b\u0443\u043f\u0435\u0435.<\/p>\n

\u041d\u0438\u0436\u0435\u00a0\u2014 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043e\u00a0\u0442\u043e\u043c, \u043a\u0443\u0434\u0430 \u0438\u0441\u0447\u0435\u0437\u0430\u044e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u0437\u00a0\u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0434\u043b\u044f\u00a0\u0441\u044b\u0440\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043a\u0430\u043a\u00a0\u043e\u0434\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u0441 transpose<\/code> \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0443\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n

\u0417\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u044c 7B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u043f\u0430\u0440\u0443 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442<\/h3>\n

\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0437\u0435\u043c\u043b\u0451\u043d\u043d\u0430\u044f. \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0438\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u043e\u0431\u043b\u0430\u043a\u0443, \u043d\u0435\u00a0\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0432\u043e\u00a0\u0432\u043d\u0435\u0448\u043d\u0438\u0439 API \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0439 \u0441\u0435\u0442\u0438. \u0415\u0451 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u00a0\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u043b\u0438\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u00a0\u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0432\u00a0\u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b \u0434\u043b\u044f\u00a0\u0447\u0443\u0436\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430.<\/p>\n

\u0418 \u0440\u0435\u0447\u044c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043e\u00a0LLaMA-7B. \u0415\u0441\u043b\u0438 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u0448\u0435\u0441\u0442\u044c\u2011\u0441\u0435\u043c\u044c \u0440\u0430\u0437, \u0442\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 100\u00a0\u0413\u0411 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u044f\u0442\u0441\u044f \u043d\u0435\u00a0\u0432\u00a0\u043c\u0430\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 2\u00a0\u0413\u0411, \u0430\u00a0\u0432\u00a0\u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 14\u201317. \u042d\u0442\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u043d\u043e\u0433\u043e, \u043d\u043e\u00a0\u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u00a0\u043e\u0431\u044b\u0447\u043d\u043e\u043c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0435 \u0441 32\u00a0\u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n

\u041d\u043e\u00a0\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0444\u0430\u0439\u043b \u0441\u0430\u043c \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0440\u0435\u0448\u0430\u0435\u0442. \u0412\u0430\u0436\u043d\u044b \u0435\u0449\u0451 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u043f\u0438\u043a\u043e\u0432\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c. \u0415\u0441\u043b\u0438 \u043f\u0440\u0438\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u00a0FP32, \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 RAM. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 PCST\u00a0\u2014 \u043d\u0435\u00a0\u0430\u0440\u0445\u0438\u0432\u0430\u0442\u043e\u0440 \u0432\u0435\u0441\u043e\u0432, \u0430\u00a0\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c inference \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e.<\/p>\n

\u042f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043b \u0441\u0435\u0431\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u043b\u044f\u00a0\u043c\u0430\u043d\u0451\u0432\u0440\u0430. \u041d\u0435\u043b\u044c\u0437\u044f \u0432\u044b\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0441\u043b\u043e\u0451\u0432, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c FFN \u0438\u043b\u0438\u00a0\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 gradient fine\u2011tuning Transformer\u2011\u0431\u043b\u043e\u043a\u043e\u0432. \u0417\u0430\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u0443\u0447\u0430\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u043c\u0435\u043d\u044f\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442, \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043e\u0434\u043e\u0432\u044b\u0435 \u043a\u043d\u0438\u0433\u0438 \u0438 \u0440\u0435\u0448\u0430\u0442\u044c, \u043a\u0430\u043a\u0438\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0431\u0438\u0442\u044b.<\/p>\n

\u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u0432\u0443\u0447\u0438\u0442 \u0442\u0430\u043a: \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f?<\/p>\n

\u041f\u0435\u0440\u0432\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0432\u0430\u043b: \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044f \u0441\u0436\u0438\u043c\u0430\u043b \u043d\u0435\u00a0\u0442\u0443 LLaMA<\/h3>\n

\u0421\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u044b\u0439 \u0434\u0435\u043d\u044c \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b 21\u00a0\u0430\u0432\u0433\u0443\u0441\u0442\u0430 2026\u00a0\u0433\u043e\u0434\u0430. \u0412\u00a0\u043c\u043e\u0451\u043c NumPy\u2011loader \u043d\u0430\u0448\u043b\u0430\u0441\u044c \u043e\u0448\u0438\u0431\u043a\u0430 \u043e\u0440\u0438\u0435\u043d\u0442\u0430\u0446\u0438\u0438 GGUF\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432. \u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u0443\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u0430 \u0432\u00a0\u0444\u043e\u0440\u043c\u0435 (out, in)<\/code>, \u0430\u00a0\u044f \u0435\u0449\u0451 \u0440\u0430\u0437 \u043f\u0435\u0440\u0435\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b \u0435\u0451 \u0447\u0435\u0440\u0435\u0437 reshape<\/code> \u0442\u0430\u043c, \u0433\u0434\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0441\u044f transpose<\/code>.<\/p>\n

\u0421\u0430\u043c\u043e\u0435 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0432\u00a0\u0442\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043a\u0430\u0445\u00a0\u2014 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u043d\u0435\u00a0\u043f\u0430\u0434\u0430\u0435\u0442. \u041c\u043e\u0434\u0435\u043b\u044c \u0447\u0442\u043e\u2011\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043f\u043e\u043b\u0437\u0443\u0442 \u0432\u0432\u0435\u0440\u0445 \u0438\u043b\u0438\u00a0\u0432\u043d\u0438\u0437, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u0430\u0436\u0435 \u00ab\u043f\u043e\u0431\u0435\u0436\u0434\u0430\u044e\u0442\u00bb. \u0422\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0431\u0435\u0434\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a\u00a0\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u041f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u043d\u043d\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u043e\u043c\u0435\u0442\u0438\u0442\u044c \u043a\u0430\u043a\u00a0\u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u0443\u044e \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e.<\/p>\n

\u0427\u0442\u043e\u0431\u044b \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u00a0\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043d\u0430\u00a0\u043d\u0435\u0438\u0441\u043f\u0440\u0430\u0432\u043d\u043e\u043c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438, Q8-forward\u00a0\u0431\u044b\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 llama.cpp \u043d\u0430\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445.<\/p>\n

\n
\n\n\n\n\n\n\n\n
\n

\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 Q8\u00a0NumPy \u043f\u0440\u043e\u0442\u0438\u0432 llama.cpp<\/p>\n<\/th>\n

\n

\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<\/tr>\n

\n

Cosine logits<\/p>\n<\/td>\n

\n

0.999942<\/p>\n<\/td>\n<\/tr>\n

\n

Relative error<\/p>\n<\/td>\n

\n

0.01140<\/p>\n<\/td>\n<\/tr>\n

\n

Top-1\u00a0agreement<\/p>\n<\/td>\n

\n

100%<\/p>\n<\/td>\n<\/tr>\n

\n

Top-10\u00a0overlap<\/p>\n<\/td>\n

\n

97.5%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n

\u0421\u00a0\u0442\u0435\u0445 \u043f\u043e\u0440 \u0443\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u043a\u0430\u0436\u0438, \u0447\u0442\u043e\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0434\u0443\u0439\u0441\u044f \u043d\u043e\u0432\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u0430\u043c. \u041a\u0440\u0430\u0441\u0438\u0432\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u0433\u043e forward\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u043e\u0447\u0435\u043d\u044c \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430.<\/p>\n

\u041a\u0430\u043a\u00a0PCST \u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0435\u0441\u0430, \u0435\u0441\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c<\/h3>\n

\u0412\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 PCST \u043b\u0435\u0436\u0438\u0442 Product Quantization. \u0411\u0435\u0440\u0451\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443, \u0440\u0435\u0436\u0435\u043c \u0435\u0451 \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043d\u043e\u043c\u0435\u0440 \u043f\u043e\u0445\u043e\u0436\u0435\u0433\u043e \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0438\u0437\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438. \u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u0433\u0440\u0443\u0431\u043e: w_block \u2248 C[index]<\/code>.<\/p>\n

\u0420\u0430\u0437\u043c\u0435\u0440 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u00a0\u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432. \u041d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0438 codebooks, scale\u2011\u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438, embedding, LM Head \u0438 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u0442 \u043d\u0430\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043b\u0435\u0433\u043a\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043b\u0443\u0447\u0448\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430.<\/p>\n

\u0414\u043e\u0432\u043e\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u00a0\u043e\u0434\u0438\u043d \u0440\u0435\u0446\u0435\u043f\u0442 \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0439 \u0441\u0435\u0442\u0438 \u043d\u0435\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041c\u0430\u0442\u0440\u0438\u0446\u044b Q, K, V, O, Gate, Up \u0438 Down \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u044e\u0442 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443\u00a0\u0436\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0436\u0430\u0442\u0438\u044f. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0434\u0432\u0435 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0438\u0442 \u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438?\u00bb \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c: \u00ab\u043a\u0443\u0434\u0430 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043f\u0440\u0438\u043d\u0451\u0441 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u044b?\u00bb<\/p>\n

\u0414\u043b\u044f\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c LLaMA-7B \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 Llama 1\u00a0\u0432\u00a0Q8_0\u00a0GGUF. Q8\u00a0\u0441\u043b\u0443\u0436\u0438\u043b \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c logits, \u0430\u00a0\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 GGUF\u2011\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 llama.cpp. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0441\u044f \u043d\u0430 32\u00a0\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 WikiText-2\u00a0validation\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e 6\u202f688\u00a0\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439.<\/p>\n

\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u0434\u043d\u0443 \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0438 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043d\u0435\u0451. \u041d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c. Perplexity \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u0441\u00a0Q8. Cosine logits \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043b\u043e\u0432 \u0443\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f. \u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0437\u0430\u00a0NLL, perplexity, Top-1, Top-10, KL, MassRecall, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438 \u043f\u0430\u043c\u044f\u0442\u044c\u044e.<\/p>\n

\u0427\u0442\u043e\u00a0\u0432\u0441\u0451\u2011\u0442\u0430\u043a\u0438 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e<\/h3>\n

\u041f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043d\u0430\u0445\u043e\u0434\u043a\u043e\u0439 \u0441\u0442\u0430\u043b\u0430 \u043d\u0435\u043e\u0434\u043d\u043e\u0440\u043e\u0434\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u043e\u0451\u0432. \u0420\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0437\u0434\u0430\u0442\u044c \u0432\u0441\u0435\u043c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u0442 \u0437\u0432\u0443\u0447\u0438\u0442 \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e, \u043d\u043e\u00a0\u0434\u043b\u044f\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u0430\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0430. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u0434\u043b\u044f\u00a0\u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u043d\u043d\u0438\u0445 V\/O \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u043b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0442\u0435\u00a0\u0436\u0435 \u0431\u0430\u0439\u0442\u044b \u0432\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0435\u0442\u0438. \u0422\u0430\u043a \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c selective policy: \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u00a0\u2014 \u0441\u0432\u043e\u0439 \u0434\u0438\u0430\u0433\u043d\u043e\u0437 \u0438 \u0441\u0432\u043e\u0439 \u0431\u044e\u0434\u0436\u0435\u0442.<\/p>\n

\u0421\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f. Column\u2011RMS \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043c\u043e\u0433 attention O, \u0430\u00a0\u0432\u043d\u0435\u0448\u043d\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0439 Row\u2011RMS \u0434\u043b\u044f\u00a0V \u0438 FFN \u043f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0433\u0430 \u0434\u0435\u043b\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0445\u0443\u0436\u0435. \u041d\u0430\u00a0\u043d\u0443\u043b\u0435\u0432\u043e\u043c \u0441\u043b\u043e\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 O \u0443\u043f\u0430\u043b\u0430 \u0441 0.6791\u00a0\u0434\u043e 0.1619, \u0430\u00a0cosine \u0432\u044b\u0440\u043e\u0441 \u0441 0.9283\u00a0\u0434\u043e 0.9920. \u0412\u044b\u0432\u043e\u0434 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u0438\u0447\u043d\u044b\u0439: \u0441\u043e\u0432\u0435\u0442 \u00ab\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0439\u0442\u0435 \u0432\u0435\u0441\u0430\u00bb \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u00a0\u0436\u0435 \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043a\u0430\u043a\u00a0\u0441\u043e\u0432\u0435\u0442 \u00ab\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 \u043a\u043e\u0434\u00bb. \u0412\u0430\u0436\u043d\u043e \u0447\u0435\u043c, \u0433\u0434\u0435 \u0438 \u043f\u043e\u00a0\u043a\u0430\u043a\u043e\u0439 \u043e\u0441\u0438.<\/p>\n

\u0421\u043b\u0435\u0434\u043e\u043c \u044f \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0447\u0438\u043d\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043f\u043e\u0441\u043b\u0435 PQ \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0437\u043a\u0438\u0439 \u0440\u0430\u043d\u0433: W \u2248 W_PQ + U\u03a3V\u1d40<\/code>. \u0418\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u0432\u0435\u0437\u0434\u0435, \u043d\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u0432\u0435\u0437\u0434\u0435 \u043e\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u043b\u0430 \u043c\u0435\u0441\u0442\u043e. \u0414\u043b\u044f\u00a0FFN Down residual \u043e\u043a\u0443\u043f\u0438\u043b\u0441\u044f \u043d\u0430\u00a0\u0441\u043b\u043e\u044f\u0445 0, 1, 2, 4, 30\u00a0\u0438 31, \u0430\u00a0\u0434\u043b\u044f\u00a0V\/O\u00a0\u2014 \u043d\u0430 24, 27\u00a0\u0438 31. \u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u043e\u043d \u0441\u0442\u0430\u043b \u043d\u0435\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u0435\u043b\u0435\u043c, \u0430\u00a0\u0447\u0435\u043c\u2011\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0433\u043e \u0440\u0435\u043c\u043e\u043d\u0442\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u0430\u043f\u0440\u0438\u0437\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446.<\/p>\n

\u0418\u043d\u043e\u0433\u0434\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u043b \u0438 \u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442. \u0421\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0442\u043e\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0437\u0430\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u0430 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0434\u043b\u044f\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0430. Gauge Hadamard \u043f\u0440\u0438\u043d\u0451\u0441 \u043f\u043e\u043b\u044c\u0437\u0443 \u0434\u043b\u044f\u00a0V\/O \u043d\u0430\u00a0L5\u00a0\u0438 L8. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u0440\u0430\u0437\u043c\u0430\u0437\u0430\u0442\u044c \u0443\u0441\u043f\u0435\u0445 \u043f\u043e\u00a0\u0432\u0441\u0435\u0439 \u0441\u0435\u0442\u0438 \u0441\u043d\u043e\u0432\u0430 \u043d\u0435\u00a0\u043f\u0440\u043e\u0448\u043b\u0430: \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u043e\u0438 \u0438 seeds \u0440\u0435\u0448\u0438\u043b\u0438 \u0436\u0438\u0442\u044c \u043f\u043e\u00a0\u0441\u0432\u043e\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c.<\/p>\n

\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0437\u0430\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0434\u0430\u043b\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430. \u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0434\u0435\u0441\u044f\u0442\u044b\u0439 \u0441\u043b\u043e\u0439 \u043d\u0430\u00a0\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0435\u0432\u044f\u0442\u0438\u00a0\u2014 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0447\u0442\u043e\u00a0\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043f\u043e\u0434\u0432\u0435\u0441\u043a\u0443 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f \u0434\u043b\u044f\u00a0\u0434\u043e\u0440\u043e\u0433\u0438 \u0431\u0435\u0437\u00a0\u0435\u0434\u0438\u043d\u043e\u0439 \u043a\u043e\u0447\u043a\u0438. \u0412\u00a0PCST \u043d\u0430\u00a0\u0432\u0445\u043e\u0434 \u0443\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0436\u0430\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432. \u041a\u043e\u0433\u0434\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 prefix states, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u043b\u0430 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435.<\/p>\n

Embedding \u0438 LM Head \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0414\u043b\u044f\u00a0embedding \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u044b\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f Q4\u00a0group-32. LM Head \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043e 132.8\u00a0\u0434\u043e 85.9\u00a0MiB \u0447\u0435\u0440\u0435\u0437 Q5\u00a0group-32\u00a0\u0441\u00a0\u0432\u044b\u0441\u043e\u043a\u0438\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c cosine. \u0411\u043e\u043b\u0435\u0435 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0435 PQ\u2011\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u043e\u00a0\u0440\u0435\u0437\u043a\u043e \u0443\u0445\u0443\u0434\u0448\u0430\u043b\u043e ranking \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n

\u041b\u0443\u0447\u0448\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u0436\u0434\u0430\u043b\u0430 \u043d\u0435\u00a0\u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u043b\u043e\u044f, \u0430\u00a0\u043f\u043e\u0447\u0442\u0438 \u0443\u00a0\u0441\u0430\u043c\u043e\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u0430<\/h3>\n

\u041f\u043e\u0441\u043b\u0435 32\u00a0\u0441\u0436\u0430\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 hidden states PCST \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0441\u043b\u0435\u0433\u043a\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0435\u0439\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442. \u0410\u00a0LM Head \u043f\u043e\u2011\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0447\u0438\u0442\u0430\u0435\u0442 \u0438\u0445 \u0442\u0430\u043a, \u0431\u0443\u0434\u0442\u043e \u043f\u0435\u0440\u0435\u0434 \u043d\u0438\u043c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u044b\u0439 \u0432\u044b\u0445\u043e\u0434 Q8. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u043a\u0430\u0440\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u0435\u0440\u043d\u0443\u043b\u0438, \u043d\u043e\u00a0\u0437\u0430\u0431\u044b\u043b\u0438 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0434\u0438\u0442\u044c \u043d\u0430\u0432\u0438\u0433\u0430\u0442\u043e\u0440.<\/p>\n

\u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430: \u0432\u0434\u0440\u0443\u0433 \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438\u00a0\u2014 \u043d\u0435\u00a0\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c, \u0430\u00a0\u043e\u0431\u0449\u0438\u0439 \u043f\u0435\u0440\u0435\u043a\u043e\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0434 \u0441\u0430\u043c\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u043e\u0439?<\/p>\n

\u042f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b low\u2011rank bridge \u043c\u0435\u0436\u0434\u0443 PCST hidden states \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 Q8\u00a0hidden states, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u0441\u0432\u0435\u0440\u043d\u0443\u043b \u0435\u0433\u043e \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u00a0Q5\u00a0LM Head. \u041d\u043e\u0432\u044b\u0439 runtime\u2011\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 payload \u043d\u0435\u00a0\u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0438\u0441\u044c. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f rank=32, alpha=0.7<\/code>\u00a0\u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043d\u0430\u00a0development\u2011\u043d\u0430\u0431\u043e\u0440\u0435 \u0438 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u0430 \u043d\u0430\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u043e\u043c test\u2011\u043d\u0430\u0431\u043e\u0440\u0435.<\/p>\n

\n
\n\n\n\n\n\n\n\n\n
\n

\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n

\n

Q5\u00a0baseline<\/p>\n<\/th>\n

\n

Q5\u00a0+ bridge<\/p>\n<\/th>\n

\n

\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n

\n

Top-1\u00a0agreement<\/p>\n<\/td>\n

\n

65.025%<\/p>\n<\/td>\n

\n

65.809%<\/strong><\/p>\n<\/td>\n

\n

+0.784\u00a0\u043f.\u043f.<\/p>\n<\/td>\n<\/tr>\n

\n

Top-10\u00a0overlap<\/p>\n<\/td>\n

\n

62.917%<\/p>\n<\/td>\n

\n

64.623%<\/strong><\/p>\n<\/td>\n

\n

+1.706\u00a0\u043f.\u043f.<\/p>\n<\/td>\n<\/tr>\n

\n

MassRecall@10<\/p>\n<\/td>\n

\n

71.813%<\/p>\n<\/td>\n

\n

72.256%<\/strong><\/p>\n<\/td>\n

\n

+0.443\u00a0\u043f.\u043f.<\/p>\n<\/td>\n<\/tr>\n

\n

KL<\/p>\n<\/td>\n

\n

0.54776<\/p>\n<\/td>\n

\n

0.49419<\/strong><\/p>\n<\/td>\n

\n

\u22120.05358<\/p>\n<\/td>\n<\/tr>\n

\n

Cosine logits<\/p>\n<\/td>\n

\n

0.85381<\/p>\n<\/td>\n

\n

0.88232<\/strong><\/p>\n<\/td>\n

\n

+0.02850<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n

\u042d\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u044b\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0451\u043d\u043d\u044b\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438. \u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0434\u0430\u0436\u0435 \u043d\u0435\u00a0\u0441\u0430\u043c\u0438 \u043f\u043e\u043b\u0442\u043e\u0440\u0430\u2011\u0434\u0432\u0430 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0445 \u043f\u0443\u043d\u043a\u0442\u0430. Bridge \u043f\u043e\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e\u00a0\u0441\u0435\u0442\u044c \u043f\u043e\u0440\u0442\u0438\u0442\u0441\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e: \u0432\u00a0\u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 \u0435\u0441\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c.<\/p>\n

\u0410\u00a0\u0442\u0435\u043f\u0435\u0440\u044c \u043e\u00a0\u043a\u043b\u0430\u0434\u0431\u0438\u0449\u0435 \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0445 \u0438\u0434\u0435\u0439<\/h3>\n

\u0414\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043b\u0430\u043d \u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u043c: \u0432\u044b\u0438\u0433\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043d\u0430\u00a0V, \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043d\u0430\u00a0O, \u0437\u0430\u0442\u0435\u043c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c Gate, Up \u0438 Down\u00a0\u2014 \u0438 \u0432\u00a0\u043a\u043e\u043d\u0446\u0435 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u0432\u00a0\u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. \u041a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, Transformer \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c \u0448\u043a\u043e\u043b\u044c\u043d\u043e\u0439 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0438.<\/p>\n

Residual VQ, additive quantization, Hessian\u2011aware \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u044b \u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u0447\u0430\u0441\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0438 MSE \u0432\u0435\u0441\u043e\u0432 \u0438\u043b\u0438\u00a0\u043e\u0448\u0438\u0431\u043a\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430. \u0417\u0430\u0442\u0435\u043c \u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u2014 \u0438 Top-10\u00a0\u043f\u0430\u0434\u0430\u043b. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043b\u043e\u0438 \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u043b\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441\u0447\u0438\u0442\u0430\u043b\u0430 \u0434\u0435\u0448\u0451\u0432\u044b\u043c\u0438.<\/p>\n

\u0421\u0430\u043c\u044b\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u00a0\u2014 alternating joint V\/O \u043d\u0430\u00a0L16. \u042f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 A\u00b7V\u00b7O<\/code>, \u043d\u0435\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u043d\u0438 \u0431\u0430\u0439\u0442\u0430 payload. \u0412\u043d\u0443\u0442\u0440\u0438 \u0431\u043b\u043e\u043a\u0430 \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u0440\u0430\u0437\u0443\u043c\u043d\u043e. \u041d\u0430\u00a0\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 Top-10\u00a0\u0440\u0443\u0445\u043d\u0443\u043b \u0441 62.42% \u0434\u043e 56.61%, cosine\u00a0\u2014 \u0441 0.8620\u00a0\u0434\u043e 0.8130, \u0430\u00a0KL \u0432\u044b\u0440\u043e\u0441 \u0441 0.6174\u00a0\u0434\u043e 0.8970. \u0420\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0441\u0442\u0430\u043b\u0430 \u043a\u0440\u0430\u0441\u0438\u0432\u0435\u0435, \u044f\u0437\u044b\u043a\u00a0\u2014 \u0445\u0443\u0436\u0435.<\/p>\n

\u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c ranking \u0442\u043e\u0436\u0435 \u043d\u0435\u00a0\u0434\u0430\u043b\u0430 \u043b\u0451\u0433\u043a\u043e\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u0430. Top\u2011K\u00a0\u2014 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u0446\u0435\u043b\u044c. \u041f\u043e\u0431\u0435\u0434\u044b \u043d\u0430\u00a0\u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u0438\u043b\u0438\u00a0\u0441\u043e\u0442\u043d\u044f\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439 \u0438\u0441\u0447\u0435\u0437\u0430\u043b\u0438 \u043d\u0430\u00a0\u043d\u043e\u0432\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445. \u0414\u0430\u0436\u0435 margin\u2011subspace correction, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 16\u202f320\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 4\u202f080\u00a0development\u2011\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b Top-10\u00a0\u0441 62.42% \u0434\u043e 60.76% \u0438 \u0443\u0445\u0443\u0434\u0448\u0438\u043b NLL.<\/p>\n

\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0442\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0438\u0437\u00a0\u0432\u043e\u043f\u0440\u043e\u0441\u0430: \u0435\u0441\u043b\u0438 \u043c\u044b \u0443\u043c\u0435\u0435\u043c \u0444\u0430\u043d\u0442\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0436\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0438 \u0432\u0438\u0434\u0435\u043e, \u043f\u043e\u0447\u0435\u043c\u0443\u00a0\u0431\u044b \u043d\u0435\u00a0\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043a\u0430\u043a\u00a0\u043d\u0430\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435? \u041e\u0442\u0432\u0435\u0442: \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435. Wavelets, quadtree, Gaussian splatting, \u0444\u0440\u0430\u043a\u0442\u0430\u043b\u044b \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043d\u044b\u0435 \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043d\u0430\u00a0\u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u044c \u0438 \u0441\u043e\u0441\u0435\u0434\u0441\u0442\u0432\u043e. \u0410\u00a0\u0434\u0432\u0430 \u0447\u0438\u0441\u043b\u0430 \u0440\u044f\u0434\u043e\u043c \u0432\u00a0\u0444\u0430\u0439\u043b\u0435 \u0432\u0435\u0441\u043e\u0432 \u043d\u0435\u00a0\u043e\u0431\u044f\u0437\u0430\u043d\u044b \u0438\u043c\u0435\u0442\u044c \u0445\u043e\u0442\u044c \u0447\u0442\u043e\u2011\u0442\u043e \u043e\u0431\u0449\u0435\u0435. \u0414\u043b\u044f\u00a0V \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u00a0\u0431\u044b\u043b\u0430 \u043e\u043a\u043e\u043b\u043e \u043d\u0443\u043b\u044f, \u0430\u00a0RMS \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1.414\u00d7<\/code> RMS \u0441\u0430\u043c\u043e\u0433\u043e \u0432\u0435\u0441\u0430, \u043f\u043e\u0447\u0442\u0438 \u043a\u0430\u043a\u00a0\u0443\u00a0\u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0430.<\/p>\n

\u041c\u0435\u0436\u0441\u043b\u043e\u0435\u0432\u043e\u0435 delta\u2011\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043e\u0431\u0449\u0438\u0435 FFN codebooks \u0438 \u043e\u0431\u0449\u0438\u0435 V\/O subspaces \u0442\u043e\u0436\u0435 \u043d\u0435\u00a0\u0434\u0430\u043b\u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0439 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438. \u0414\u0432\u0430 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0441\u043b\u043e\u044f \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u0443\u044e \u0440\u043e\u043b\u044c, \u043d\u043e\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0438\u0445 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442.<\/p>\n

\u041d\u0430\u043a\u043e\u043d\u0435\u0446, lossless\u2011\u0441\u0436\u0430\u0442\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043b\u043e \u0441\u0435\u0431\u044f. \u0418\u0445 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0431\u043b\u0438\u0437\u043a\u0430 \u043a\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0431\u0438\u0442\u043e\u0432\u043e\u0439 \u0448\u0438\u0440\u0438\u043d\u0435, \u0430\u00a0\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u0442\u0430\u0432\u0448\u0430\u044f\u0441\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 17.5\u00a0MiB. \u042d\u0442\u043e\u0433\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0441\u043e\u0442\u043d\u0438 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0438 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043b\u044c\u044e.<\/p>\n

\u042f \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u044e \u044d\u0442\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0436\u0435\u043d\u0438\u0435\u043c \u0446\u0435\u043b\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u0412\u00a0\u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 AQLM\u2011, QTIP\u2011 \u0438 VPTQ\u2011\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043f\u0438\u043b\u043e\u0442\u044b \u043d\u0435\u00a0\u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432. \u041e\u043d\u0438 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b, \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e PCST runtime.<\/p>\n

\u0422\u0430\u043a \u0447\u0442\u043e\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/h3>\n

\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 llama-7b-pcst-v5-quality.pcstc<\/code> \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 2.05\u00a0GiB<\/strong>. \u041e\u043d \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u0441\u0435 32\u00a0Transformer\u2011\u0441\u043b\u043e\u044f, PQ\u2011\u043f\u043e\u0442\u043e\u043a\u0438, \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0435 SVD residual, gauge\u2011\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, Q8\u00a0embedding \u0438 Q5\u00a0LM Head \u0441\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c bridge.<\/p>\n

\u041a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 lossless round\u2011trip \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432, \u0442\u043e\u0447\u043d\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 policy \u0438 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 hidden states. \u0422\u043e \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439, \u043d\u0435\u00a0\u043e\u0446\u0435\u043d\u043a\u0430 \u0432\u00a0Excel. \u041d\u043e\u00a0\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0434\u0432\u0430 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430 \u0435\u0449\u0451 \u043d\u0435\u00a0\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0451\u0442 \u0441\u0430\u043c\u0430\u044f \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n

\n
\n\n\n\n\n\n\n\n
\n

\u0412\u0430\u0440\u0438\u0430\u043d\u0442<\/p>\n<\/th>\n

\n

\u0420\u0430\u0437\u043c\u0435\u0440<\/p>\n<\/th>\n

\n

PPL \u2193<\/p>\n<\/th>\n

\n

Top-10\u00a0\u043a\u00a0Q8\u00a0\u2191<\/p>\n<\/th>\n

\n

Target Top-1\u00a0\u2191<\/p>\n<\/th>\n

\n

\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c*<\/p>\n<\/th>\n

\n

Peak RSS*<\/p>\n<\/th>\n<\/tr>\n

\n

Q8_0<\/p>\n<\/td>\n

\n

6.67\u00a0GiB<\/p>\n<\/td>\n

\n

6.922<\/strong><\/p>\n<\/td>\n

\n

100.00%<\/p>\n<\/td>\n

\n

57.13%<\/strong><\/p>\n<\/td>\n

\n

20.33\u00a0tok\/s<\/p>\n<\/td>\n

\n

13.80\u00a0GiB<\/p>\n<\/td>\n<\/tr>\n

\n

PCST v5<\/strong><\/p>\n<\/td>\n

\n

2.05\u00a0GiB<\/strong><\/p>\n<\/td>\n

\n

15.560<\/strong><\/p>\n<\/td>\n

\n

59.59%<\/strong><\/p>\n<\/td>\n

\n

43.56%<\/strong><\/p>\n<\/td>\n

\n

2.43\u00a0tok\/s<\/p>\n<\/td>\n

\n

4.26\u00a0GiB<\/p>\n<\/td>\n<\/tr>\n

\n

Q3_K_M<\/p>\n<\/td>\n

\n

3.07\u00a0GiB<\/p>\n<\/td>\n

\n

7.356<\/p>\n<\/td>\n

\n

86.93%<\/p>\n<\/td>\n

\n

56.25%<\/p>\n<\/td>\n

\n

18.64\u00a0tok\/s<\/p>\n<\/td>\n

\n

6.12\u00a0GiB<\/p>\n<\/td>\n<\/tr>\n

\n

Q4_K_M<\/p>\n<\/td>\n

\n

3.80\u00a0GiB<\/p>\n<\/td>\n

\n

7.009<\/p>\n<\/td>\n

\n

92.65%<\/p>\n<\/td>\n

\n

56.89%<\/p>\n<\/td>\n

\n

30.36\u00a0tok\/s<\/p>\n<\/td>\n

\n

7.13\u00a0GiB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n

* PCST \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 Python\u2011\u0434\u0435\u043a\u043e\u0434\u0435\u0440, \u0430\u00a0GGUF\u00a0\u2014 \u0447\u0435\u0440\u0435\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 llama.cpp. \u0422\u0430\u043a\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0435\u0434\u0435\u043b \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432.<\/p>\n

PCST v5\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 3.25\u00a0\u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 Q8\u00a0\u0438 \u043d\u0430 1.02\u00a0GiB \u043c\u0435\u043d\u044c\u0448\u0435 Q3_K_M. \u041d\u043e\u00a0perplexity \u0432 2.12\u00a0\u0440\u0430\u0437\u0430 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0443\u00a0Q3_K_M, \u0430\u00a0Python\u2011\u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u0442, \u044d\u0442\u043e \u043f\u043e\u043a\u0430 \u043d\u0435 \u00ab\u0443\u0431\u0438\u0439\u0446\u0430 Q3\u00bb, \u043d\u0435\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e Q6\u00a0\u0438 \u043d\u0435\u00a0\u0433\u043e\u0442\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f\u00a0Raspberry Pi.<\/p>\n

\u041f\u043e\u00a0\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u043a\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c FP16-\u0432\u0435\u0441\u0430\u043c \u0440\u0430\u0437\u043c\u0435\u0440 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u00a0\u0448\u0435\u0441\u0442\u044c \u0440\u0430\u0437. \u041d\u043e\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0443\u0441\u043f\u0435\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 \u0441\u0436\u0430\u0442\u0438\u044f: \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437\u00a0\u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n

\u0413\u0434\u0435, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0441\u043f\u0440\u044f\u0442\u0430\u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430<\/h3>\n

\u0412\u00a0\u043d\u0430\u0447\u0430\u043b\u0435 \u044f \u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e\u00a0\u0433\u0434\u0435\u2011\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u0443\u0434\u0430\u0447\u043d\u044b\u0439 compressor \u0434\u043b\u044f\u00a0\u043c\u0430\u0442\u0440\u0438\u0446\u044b\u00a0\u2014 \u043d\u0443\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u0430\u043c\u0435\u043d\u044c. \u041f\u043e\u0441\u043b\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043c\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0441\u0436\u0430\u0442\u0438\u044f. \u0421\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0435\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0447\u0438\u0441\u0435\u043b, \u0430\u00a0\u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438.<\/p>\n

\u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 residual stream, \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u00a0\u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u044f\u043c\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0432\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f \u0441\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0439 MSE \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430\u00a0logits. \u0418 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043d\u0435\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u044b\u043c, \u0435\u0441\u043b\u0438 \u043e\u0448\u0438\u0431\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u0432\u00a0\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f.<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u044f \u0445\u043e\u0447\u0443 \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u0443\u044e \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0430. \u0418\u0434\u0435\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043e\u0434\u043d\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u00a0Q8\u00a0\u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u043e\u043b\u043d\u043e\u0439 PCST\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 NLL. \u0422\u0430\u043a\u043e\u0439 counterfactual audit \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u0438\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0437\u043a\u0438\u0435 \u043c\u0435\u0441\u0442\u0430 \u043e\u0442\u00a0\u043c\u0430\u0442\u0440\u0438\u0446, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u043e\u00a0MSE, \u043d\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430\u00a0\u044f\u0437\u044b\u043a.<\/p>\n

\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435\u043d \u0447\u0435\u0441\u0442\u043d\u044b\u0439 equal\u2011size baseline \u043f\u0440\u043e\u0442\u0438\u0432 IQ2_XXS, IQ2_XS, IQ2_S, TQ2_0\u00a0\u0438 Q2_K. \u0415\u0441\u043b\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 i\u2011quant \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435 bulk\u2011PQ, PCST \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u0438\u0437\u00a0\u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430 \u0432\u00a0\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u043d\u0430\u0434 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c: \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0431\u0438\u0442\u044b \u043f\u043e\u00a0sensitivity map, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0434\u043a\u0438\u0435 residual \u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0432\u044b\u0445\u043e\u0434\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u0447\u0435\u0440\u0435\u0437 bridge.<\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 runtime: mmap\u2011\u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440, fused lookup\u2011and\u2011accumulate kernels, SIMD \u0434\u043b\u044f\u00a0x86\u00a0\u0438 ARM \u0438 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0431\u0435\u0437\u00a0\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u043d\u043e\u0439 FP32-\u043c\u0430\u0442\u0440\u0438\u0446\u044b. \u041f\u043e\u043a\u0430 Python\u2011\u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f \u043d\u0443\u0436\u0435\u043d \u0434\u043b\u044f\u00a0\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438, \u0430\u00a0\u043d\u0435\u00a0\u0434\u043b\u044f\u00a0\u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n

\u0427\u0442\u043e\u00a0\u044f \u0432\u044b\u043d\u0435\u0441 \u0438\u0437\u00a0\u044d\u0442\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438<\/h3>\n

\u042f \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b 1\u20131.5\u00a0GiB \u0441\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c, \u0431\u043b\u0438\u0437\u043a\u0438\u043c \u043a\u00a0Q8. PCST v5\u00a0\u043d\u0435\u00a0\u043f\u043e\u0431\u0435\u0434\u0438\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438. \u041c\u043e\u0436\u043d\u043e\u00a0\u0431\u044b\u043b\u043e\u00a0\u0431\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438, \u043d\u043e\u00a0\u0442\u043e\u0433\u0434\u0430 \u043e\u0442\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c\u00a0\u0431\u044b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u043e\u043b\u044c\u0437\u044b.<\/p>\n

\u0417\u0430\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0442\u043e\u0447\u043d\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e\u00a0LLaMA-7B \u043c\u043e\u0436\u043d\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u0442\u044c \u0432 2.05\u00a0GiB \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0431\u0435\u0437\u00a0\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043a\u0430\u0440\u0442\u0430 \u043a\u0430\u043f\u0440\u0438\u0437\u043d\u044b\u0445 \u0441\u043b\u043e\u0451\u0432, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u043f\u0440\u0430\u0432\u043e\u043a \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u00ab\u043b\u0443\u0447\u0448\u0435\u00bb, \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0438\u0441\u043f\u043e\u0440\u0442\u0438\u0432 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n

\u0421\u0430\u043c\u044b\u043c \u0432\u0430\u0436\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0441\u0442\u0430\u043b \u043d\u043e\u0432\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n

\n

\u041a\u0430\u043a\u00a0\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 \u0441\u0435\u0442\u0438 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 \u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c manifold \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439?<\/p>\n<\/blockquote>\n

\u041e\u0442\u0432\u0435\u0442\u0430 \u0443\u00a0\u043c\u0435\u043d\u044f \u043f\u043e\u043a\u0430 \u043d\u0435\u0442. \u041d\u043e\u00a0\u0442\u0435\u043f\u0435\u0440\u044c \u0445\u043e\u0442\u044f\u00a0\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0433\u0434\u0435 \u0435\u0433\u043e \u0438\u0441\u043a\u0430\u0442\u044c, \u0430\u00a0\u043d\u043e\u0432\u044b\u0435 \u0438\u0434\u0435\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043d\u0430\u00a0\u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c forward, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445, \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u043c test\u2011\u043d\u0430\u0431\u043e\u0440\u0435 \u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 baseline\u00a0\u2014 \u0431\u0435\u0437\u00a0\u0433\u0430\u0434\u0430\u043d\u0438\u044f \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u0439 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 MSE.<\/p>\n

\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442\u0441\u044f. \u0415\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c training\u2011free network\u2011wide compression, cross\u2011layer error shaping \u0438\u043b\u0438\u00a0\u043f\u0438\u0441\u0430\u043b\u0438 \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 inference \u0434\u043b\u044f\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u2011\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432\u00a0\u2014 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0435 \u0441\u043f\u043e\u0440\u0438\u0442\u044c. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c, \u043f\u043e\u0434\u00a0\u043a\u0430\u043a\u0438\u043c \u043a\u0430\u043c\u043d\u0435\u043c \u044f \u0435\u0449\u0451 \u043d\u0435\u00a0\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u0438 \u043a\u0430\u043a\u043e\u0439 \u0438\u0437\u00a0\u0443\u0436\u0435 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e \u0432\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438.<\/p>\n

\u041f\u043e\u043b\u043d\u044b\u0439 \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u043f\u0440\u0435\u043f\u0440\u0438\u043d\u0442 \u0441\u00a0\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u043c DOI \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d \u043d\u0430 Zenodo<\/a>. \u0410\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0430\u044f \u0432\u0435\u0431\u2011\u0432\u0435\u0440\u0441\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043d\u0430 DEV Community<\/a>.<\/p>\n

\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b<\/h3>\n
    \n
  1. \n

    Frantar et al. GPTQ: Accurate Post\u2011Training Quantization for Generative Pre\u2011trained Transformers<\/a>.<\/p>\n<\/li>\n

  2. \n

    Chee et al. QuIP: 2-Bit Quantization of Large Language Models With Guarantees<\/a>.<\/p>\n<\/li>\n

  3. \n

    Egiazarian et al. Extreme Compression of Large Language Models via Additive Quantization<\/a>.<\/p>\n<\/li>\n

  4. \n

    Liu et al. VPTQ: Extreme Low\u2011bit Vector Post\u2011Training Quantization for Large Language Models<\/a>.<\/p>\n<\/li>\n

  5. \n

    Saha et al. Compressing Large Language Models using Low Rank and Low Precision Decomposition<\/a>.<\/p>\n<\/li>\n

  6. \n

    ggml\u2011org. llama.cpp Tensor Encoding Schemes<\/a>.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n

    \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 https:\/\/habr.com\/ru\/articles\/1080480\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

    \u0412\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u044f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 13\u00a0\u0413\u0411 \u0432\u0435\u0441\u043e\u0432 LLaMA-7B \u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u043b: \u0430\u00a0\u043f\u043e\u0447\u0435\u043c\u0443, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e? \u0427\u0442\u043e, \u0435\u0441\u043b\u0438 \u043d\u0435\u00a0\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0435\u00a0\u0443\u0447\u0438\u0442\u044c \u0435\u0451 \u0437\u0430\u043d\u043e\u0432\u043e \u0438 \u043d\u0435\u00a0\u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e, \u0430\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0442\u0435\u0445\u00a0\u0436\u0435 \u00ab\u043c\u043e\u0437\u0433\u043e\u0432\u00bb?\u0417\u0434\u0440\u0430\u0432\u044b\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0441\u043a\u0430\u0447\u0430\u043b\u00a0\u0431\u044b \u0433\u043e\u0442\u043e\u0432\u0443\u044e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u0448\u0451\u043b \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u043c\u0438. \u042f \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0446\u0435\u043b\u044c \u0443\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e 2\u00a0\u0413\u0411, \u0430\u00a0\u0432\u00a0\u0438\u0434\u0435\u0430\u043b\u0435\u00a0\u2014 \u0434\u043e\u00a0\u043e\u0434\u043d\u043e\u0433\u043e. \u0411\u0435\u0437\u00a0\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438, pruning \u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u0422\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u043d\u0430\u0434 \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438.\u0422\u0430\u043a \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f PCST\u00a0\u2014 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0438\u0430\u043b. \u0412\u00a0\u043d\u0451\u043c \u0443\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 60\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0441\u043e\u0442\u043d\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0441\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0434\u0438\u043d \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u0431\u0430\u0433 \u0438 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u0430\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0438\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0440\u043e\u0432\u043d\u043e \u0434\u043e\u00a0\u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u044f \u043d\u0435\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c.\u0421\u043f\u043e\u0439\u043b\u0435\u0440: \u043e\u0434\u043d\u043e\u0433\u043e \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 Q8\u00a0\u044f \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b. \u0422\u0435\u043a\u0443\u0449\u0438\u0439 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 2.05\u00a0GiB \u0438 \u043f\u043e\u043a\u0430 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 Q3_K_M \u0438 \u043f\u043e\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443, \u0438 \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0417\u0430\u0442\u043e \u044f \u043d\u0430\u0442\u043a\u043d\u0443\u043b\u0441\u044f \u043d\u0430\u00a0\u0432\u0435\u0449\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 \u0446\u0438\u0444\u0440\u044b: \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u043b\u0443\u043f\u0435\u0435.\u041d\u0438\u0436\u0435\u00a0\u2014 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043e\u00a0\u0442\u043e\u043c, \u043a\u0443\u0434\u0430 \u0438\u0441\u0447\u0435\u0437\u0430\u044e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u0437\u00a0\u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0434\u043b\u044f\u00a0\u0441\u044b\u0440\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043a\u0430\u043a\u00a0\u043e\u0434\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u0441 transpose \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0443\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.\u0417\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u044c 7B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u043f\u0430\u0440\u0443 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0437\u0435\u043c\u043b\u0451\u043d\u043d\u0430\u044f. \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0438\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u043e\u0431\u043b\u0430\u043a\u0443, \u043d\u0435\u00a0\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0432\u043e\u00a0\u0432\u043d\u0435\u0448\u043d\u0438\u0439 API \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0439 \u0441\u0435\u0442\u0438. \u0415\u0451 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u00a0\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u043b\u0438\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u00a0\u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0432\u00a0\u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b \u0434\u043b\u044f\u00a0\u0447\u0443\u0436\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430.\u0418 \u0440\u0435\u0447\u044c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043e\u00a0LLaMA-7B. \u0415\u0441\u043b\u0438 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u0448\u0435\u0441\u0442\u044c\u2011\u0441\u0435\u043c\u044c \u0440\u0430\u0437, \u0442\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 100\u00a0\u0413\u0411 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u044f\u0442\u0441\u044f \u043d\u0435\u00a0\u0432\u00a0\u043c\u0430\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 2\u00a0\u0413\u0411, \u0430\u00a0\u0432\u00a0\u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 14\u201317. \u042d\u0442\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u043d\u043e\u0433\u043e, \u043d\u043e\u00a0\u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u00a0\u043e\u0431\u044b\u0447\u043d\u043e\u043c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0435 \u0441 32\u00a0\u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438.\u041d\u043e\u00a0\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0444\u0430\u0439\u043b \u0441\u0430\u043c \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0440\u0435\u0448\u0430\u0435\u0442. \u0412\u0430\u0436\u043d\u044b \u0435\u0449\u0451 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u043f\u0438\u043a\u043e\u0432\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c. \u0415\u0441\u043b\u0438 \u043f\u0440\u0438\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u00a0FP32, \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 RAM. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 PCST\u00a0\u2014 \u043d\u0435\u00a0\u0430\u0440\u0445\u0438\u0432\u0430\u0442\u043e\u0440 \u0432\u0435\u0441\u043e\u0432, \u0430\u00a0\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c inference \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e.\u042f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043b \u0441\u0435\u0431\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u043b\u044f\u00a0\u043c\u0430\u043d\u0451\u0432\u0440\u0430. \u041d\u0435\u043b\u044c\u0437\u044f \u0432\u044b\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0441\u043b\u043e\u0451\u0432, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c FFN \u0438\u043b\u0438\u00a0\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 gradient fine\u2011tuning Transformer\u2011\u0431\u043b\u043e\u043a\u043e\u0432. \u0417\u0430\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u0443\u0447\u0430\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u043c\u0435\u043d\u044f\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442, \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043e\u0434\u043e\u0432\u044b\u0435 \u043a\u043d\u0438\u0433\u0438 \u0438 \u0440\u0435\u0448\u0430\u0442\u044c, \u043a\u0430\u043a\u0438\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0431\u0438\u0442\u044b.\u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u0432\u0443\u0447\u0438\u0442 \u0442\u0430\u043a: \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f?\u041f\u0435\u0440\u0432\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0432\u0430\u043b: \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044f \u0441\u0436\u0438\u043c\u0430\u043b \u043d\u0435\u00a0\u0442\u0443 LLaMA\u0421\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u044b\u0439 \u0434\u0435\u043d\u044c \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b 21\u00a0\u0430\u0432\u0433\u0443\u0441\u0442\u0430 2026\u00a0\u0433\u043e\u0434\u0430. \u0412\u00a0\u043c\u043e\u0451\u043c NumPy\u2011loader \u043d\u0430\u0448\u043b\u0430\u0441\u044c \u043e\u0448\u0438\u0431\u043a\u0430 \u043e\u0440\u0438\u0435\u043d\u0442\u0430\u0446\u0438\u0438 GGUF\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432. \u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u0443\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u0430 \u0432\u00a0\u0444\u043e\u0440\u043c\u0435 (out, in), \u0430\u00a0\u044f \u0435\u0449\u0451 \u0440\u0430\u0437 \u043f\u0435\u0440\u0435\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b \u0435\u0451 \u0447\u0435\u0440\u0435\u0437 reshape \u0442\u0430\u043c, \u0433\u0434\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0441\u044f transpose.\u0421\u0430\u043c\u043e\u0435 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0432\u00a0\u0442\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043a\u0430\u0445\u00a0\u2014 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u043d\u0435\u00a0\u043f\u0430\u0434\u0430\u0435\u0442. \u041c\u043e\u0434\u0435\u043b\u044c \u0447\u0442\u043e\u2011\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043f\u043e\u043b\u0437\u0443\u0442 \u0432\u0432\u0435\u0440\u0445 \u0438\u043b\u0438\u00a0\u0432\u043d\u0438\u0437, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u0430\u0436\u0435 \u00ab\u043f\u043e\u0431\u0435\u0436\u0434\u0430\u044e\u0442\u00bb. \u0422\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0431\u0435\u0434\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a\u00a0\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u041f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u043d\u043d\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u043e\u043c\u0435\u0442\u0438\u0442\u044c \u043a\u0430\u043a\u00a0\u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u0443\u044e \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e.\u0427\u0442\u043e\u0431\u044b \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u00a0\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043d\u0430\u00a0\u043d\u0435\u0438\u0441\u043f\u0440\u0430\u0432\u043d\u043e\u043c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438, Q8-forward\u00a0\u0431\u044b\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 llama.cpp \u043d\u0430\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445.\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 Q8\u00a0NumPy \u043f\u0440\u043e\u0442\u0438\u0432 llama.cpp\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442Cosine logits0.999942Relative error0.01140Top-1\u00a0agreement100%Top-10\u00a0overlap97.5%\u0421\u00a0\u0442\u0435\u0445 \u043f\u043e\u0440 \u0443\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u043a\u0430\u0436\u0438, \u0447\u0442\u043e\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0434\u0443\u0439\u0441\u044f \u043d\u043e\u0432\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u0430\u043c. \u041a\u0440\u0430\u0441\u0438\u0432\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u0433\u043e forward\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u043e\u0447\u0435\u043d\u044c \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430.\u041a\u0430\u043a\u00a0PCST \u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0435\u0441\u0430, \u0435\u0441\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c\u0412\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 PCST \u043b\u0435\u0436\u0438\u0442 Product Quantization. \u0411\u0435\u0440\u0451\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443, \u0440\u0435\u0436\u0435\u043c \u0435\u0451 \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043d\u043e\u043c\u0435\u0440 \u043f\u043e\u0445\u043e\u0436\u0435\u0433\u043e \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0438\u0437\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u043a\u043d\u0438\u0433\u0438. \u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u0433\u0440\u0443\u0431\u043e: w_block \u2248 C[index].\u0420\u0430\u0437\u043c\u0435\u0440 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u00a0\u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432. \u041d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0438 codebooks, scale\u2011\u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438, embedding, LM Head \u0438 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u0442 \u043d\u0430\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043b\u0435\u0433\u043a\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043b\u0443\u0447\u0448\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430.\u0414\u043e\u0432\u043e\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u00a0\u043e\u0434\u0438\u043d \u0440\u0435\u0446\u0435\u043f\u0442 \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0439 \u0441\u0435\u0442\u0438 \u043d\u0435\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041c\u0430\u0442\u0440\u0438\u0446\u044b Q, K, V, O, Gate, Up \u0438 Down \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u044e\u0442 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443\u00a0\u0436\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0436\u0430\u0442\u0438\u044f. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0434\u0432\u0435 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0438\u0442 \u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438?\u00bb \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c: \u00ab\u043a\u0443\u0434\u0430 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043f\u0440\u0438\u043d\u0451\u0441 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u044b?\u00bb\u0414\u043b\u044f\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c LLaMA-7B \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 Llama 1\u00a0\u0432\u00a0Q8_0\u00a0GGUF. Q8\u00a0\u0441\u043b\u0443\u0436\u0438\u043b \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c logits, \u0430\u00a0\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 GGUF\u2011\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 llama.cpp. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0441\u044f \u043d\u0430 32\u00a0\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 WikiText-2\u00a0validation\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e 6\u202f688\u00a0\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439.\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u0434\u043d\u0443 \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0438 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043d\u0435\u0451. \u041d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c. Perplexity \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u0441\u00a0Q8. Cosine logits \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043b\u043e\u0432 \u0443\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f. \u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0437\u0430\u00a0NLL, perplexity, Top-1, Top-10, KL, MassRecall, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438 \u043f\u0430\u043c\u044f\u0442\u044c\u044e.\u0427\u0442\u043e\u00a0\u0432\u0441\u0451\u2011\u0442\u0430\u043a\u0438 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e\u041f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043d\u0430\u0445\u043e\u0434\u043a\u043e\u0439 \u0441\u0442\u0430\u043b\u0430 \u043d\u0435\u043e\u0434\u043d\u043e\u0440\u043e\u0434\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u043e\u0451\u0432. \u0420\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0437\u0434\u0430\u0442\u044c \u0432\u0441\u0435\u043c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u0442 \u0437\u0432\u0443\u0447\u0438\u0442 \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e, \u043d\u043e\u00a0\u0434\u043b\u044f\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u0430\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0430. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u0434\u043b\u044f\u00a0\u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u043d\u043d\u0438\u0445 V\/O \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u043b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0442\u0435\u00a0\u0436\u0435 \u0431\u0430\u0439\u0442\u044b \u0432\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0435\u0442\u0438. \u0422\u0430\u043a \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c selective policy: \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u00a0\u2014 \u0441\u0432\u043e\u0439 \u0434\u0438\u0430\u0433\u043d\u043e\u0437 \u0438 \u0441\u0432\u043e\u0439 \u0431\u044e\u0434\u0436\u0435\u0442.\u0421\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f. Column\u2011RMS \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043c\u043e\u0433 attention O, \u0430\u00a0\u0432\u043d\u0435\u0448\u043d\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0439 Row\u2011RMS \u0434\u043b\u044f\u00a0V \u0438 FFN \u043f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0433\u0430 \u0434\u0435\u043b\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0445\u0443\u0436\u0435. \u041d\u0430\u00a0\u043d\u0443\u043b\u0435\u0432\u043e\u043c \u0441\u043b\u043e\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 O \u0443\u043f\u0430\u043b\u0430 \u0441 0.6791\u00a0\u0434\u043e 0.1619, \u0430\u00a0cosine \u0432\u044b\u0440\u043e\u0441 \u0441 0.9283\u00a0\u0434\u043e 0.9920. \u0412\u044b\u0432\u043e\u0434 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u0438\u0447\u043d\u044b\u0439: \u0441\u043e\u0432\u0435\u0442 \u00ab\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0439\u0442\u0435 \u0432\u0435\u0441\u0430\u00bb \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u00a0\u0436\u0435 \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043a\u0430\u043a\u00a0\u0441\u043e\u0432\u0435\u0442 \u00ab\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 \u043a\u043e\u0434\u00bb. \u0412\u0430\u0436\u043d\u043e \u0447\u0435\u043c, \u0433\u0434\u0435 \u0438 \u043f\u043e\u00a0\u043a\u0430\u043a\u043e\u0439 \u043e\u0441\u0438.\u0421\u043b\u0435\u0434\u043e\u043c \u044f \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0447\u0438\u043d\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043f\u043e\u0441\u043b\u0435 PQ \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0437\u043a\u0438\u0439 \u0440\u0430\u043d\u0433: W \u2248 W_PQ + U\u03a3V\u1d40. \u0418\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u0432\u0435\u0437\u0434\u0435, \u043d\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u0432\u0435\u0437\u0434\u0435 \u043e\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u043b\u0430 \u043c\u0435\u0441\u0442\u043e. \u0414\u043b\u044f\u00a0FFN Down residual \u043e\u043a\u0443\u043f\u0438\u043b\u0441\u044f \u043d\u0430\u00a0\u0441\u043b\u043e\u044f\u0445 0, 1, 2, 4, 30\u00a0\u0438 31, \u0430\u00a0\u0434\u043b\u044f\u00a0V\/O\u00a0\u2014 \u043d\u0430 24, 27\u00a0\u0438 31. \u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u043e\u043d \u0441\u0442\u0430\u043b \u043d\u0435\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u0435\u043b\u0435\u043c, \u0430\u00a0\u0447\u0435\u043c\u2011\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0433\u043e \u0440\u0435\u043c\u043e\u043d\u0442\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u0430\u043f\u0440\u0438\u0437\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446.\u0418\u043d\u043e\u0433\u0434\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u043b \u0438 \u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442. \u0421\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0442\u043e\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0437\u0430\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u0430 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0434\u043b\u044f\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0430. Gauge Hadamard \u043f\u0440\u0438\u043d\u0451\u0441 \u043f\u043e\u043b\u044c\u0437\u0443 \u0434\u043b\u044f\u00a0V\/O \u043d\u0430\u00a0L5\u00a0\u0438 L8. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u0440\u0430\u0437\u043c\u0430\u0437\u0430\u0442\u044c \u0443\u0441\u043f\u0435\u0445 \u043f\u043e\u00a0\u0432\u0441\u0435\u0439 \u0441\u0435\u0442\u0438 \u0441\u043d\u043e\u0432\u0430 \u043d\u0435\u00a0\u043f\u0440\u043e\u0448\u043b\u0430: \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u043e\u0438 \u0438 seeds \u0440\u0435\u0448\u0438\u043b\u0438 \u0436\u0438\u0442\u044c \u043f\u043e\u00a0\u0441\u0432\u043e\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c.\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0437\u0430\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0434\u0430\u043b\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430. \u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0434\u0435\u0441\u044f\u0442\u044b\u0439 \u0441\u043b\u043e\u0439 \u043d\u0430\u00a0\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0435\u0432\u044f\u0442\u0438\u00a0\u2014 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0447\u0442\u043e\u00a0\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043f\u043e\u0434\u0432\u0435\u0441\u043a\u0443 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f \u0434\u043b\u044f\u00a0\u0434\u043e\u0440\u043e\u0433\u0438 \u0431\u0435\u0437\u00a0\u0435\u0434\u0438\u043d\u043e\u0439 \u043a\u043e\u0447\u043a\u0438. \u0412\u00a0PCST \u043d\u0430\u00a0\u0432\u0445\u043e\u0434 \u0443\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0436\u0430\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432. \u041a\u043e\u0433\u0434\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 prefix states, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u043b\u0430 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435.Embedding \u0438 LM Head \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0414\u043b\u044f\u00a0embedding \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u044b\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f Q4\u00a0group-32. LM Head \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043e 132.8\u00a0\u0434\u043e 85.9\u00a0MiB \u0447\u0435\u0440\u0435\u0437 Q5\u00a0group-32\u00a0\u0441\u00a0\u0432\u044b\u0441\u043e\u043a\u0438\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c cosine. \u0411\u043e\u043b\u0435\u0435 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0435 PQ\u2011\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u043e\u00a0\u0440\u0435\u0437\u043a\u043e \u0443\u0445\u0443\u0434\u0448\u0430\u043b\u043e ranking \u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u041b\u0443\u0447\u0448\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u0436\u0434\u0430\u043b\u0430 \u043d\u0435\u00a0\u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u043b\u043e\u044f, \u0430\u00a0\u043f\u043e\u0447\u0442\u0438 \u0443\u00a0\u0441\u0430\u043c\u043e\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u0430\u041f\u043e\u0441\u043b\u0435 32\u00a0\u0441\u0436\u0430\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 hidden states PCST \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0441\u043b\u0435\u0433\u043a\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0435\u0439\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442. \u0410\u00a0LM Head \u043f\u043e\u2011\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0447\u0438\u0442\u0430\u0435\u0442 \u0438\u0445 \u0442\u0430\u043a, \u0431\u0443\u0434\u0442\u043e \u043f\u0435\u0440\u0435\u0434 \u043d\u0438\u043c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u044b\u0439 \u0432\u044b\u0445\u043e\u0434 Q8. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u043a\u0430\u0440\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u0435\u0440\u043d\u0443\u043b\u0438, \u043d\u043e\u00a0\u0437\u0430\u0431\u044b\u043b\u0438 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0434\u0438\u0442\u044c \u043d\u0430\u0432\u0438\u0433\u0430\u0442\u043e\u0440.\u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430: \u0432\u0434\u0440\u0443\u0433 \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438\u00a0\u2014 \u043d\u0435\u00a0\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c, \u0430\u00a0\u043e\u0431\u0449\u0438\u0439 \u043f\u0435\u0440\u0435\u043a\u043e\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0434 \u0441\u0430\u043c\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u043e\u0439?\u042f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b low\u2011rank bridge \u043c\u0435\u0436\u0434\u0443 PCST hidden states \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 Q8\u00a0hidden states, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u0441\u0432\u0435\u0440\u043d\u0443\u043b \u0435\u0433\u043e \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u00a0Q5\u00a0LM Head. \u041d\u043e\u0432\u044b\u0439 runtime\u2011\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 payload \u043d\u0435\u00a0\u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0438\u0441\u044c. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f rank=32, alpha=0.7\u00a0\u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043d\u0430\u00a0development\u2011\u043d\u0430\u0431\u043e\u0440\u0435 \u0438 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u0430 \u043d\u0430\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u043e\u043c test\u2011\u043d\u0430\u0431\u043e\u0440\u0435.\u041c\u0435\u0442\u0440\u0438\u043a\u0430Q5\u00a0baselineQ5\u00a0+ bridge\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435Top-1\u00a0agreement65.025%65.809%+0.784\u00a0\u043f.\u043f.Top-10\u00a0overlap62.917%64.623%+1.706\u00a0\u043f.\u043f.MassRecall@1071.813%72.256%+0.443\u00a0\u043f.\u043f.KL0.547760.49419\u22120.05358Cosine logits0.853810.88232+0.02850\u042d\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u044b\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0451\u043d\u043d\u044b\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438. \u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0434\u0430\u0436\u0435 \u043d\u0435\u00a0\u0441\u0430\u043c\u0438 \u043f\u043e\u043b\u0442\u043e\u0440\u0430\u2011\u0434\u0432\u0430 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0445 \u043f\u0443\u043d\u043a\u0442\u0430. Bridge \u043f\u043e\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e\u00a0\u0441\u0435\u0442\u044c \u043f\u043e\u0440\u0442\u0438\u0442\u0441\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e: \u0432\u00a0\u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 \u0435\u0441\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c.\u0410\u00a0\u0442\u0435\u043f\u0435\u0440\u044c \u043e\u00a0\u043a\u043b\u0430\u0434\u0431\u0438\u0449\u0435 \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0445 \u0438\u0434\u0435\u0439\u0414\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043b\u0430\u043d \u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u043c: \u0432\u044b\u0438\u0433\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043d\u0430\u00a0V, \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043d\u0430\u00a0O, \u0437\u0430\u0442\u0435\u043c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c Gate, Up \u0438 Down\u00a0\u2014 \u0438 \u0432\u00a0\u043a\u043e\u043d\u0446\u0435 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u0432\u00a0\u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. \u041a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, Transformer \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c \u0448\u043a\u043e\u043b\u044c\u043d\u043e\u0439 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0438.Residual VQ, additive quantization, Hessian\u2011aware \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u044b \u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u0447\u0430\u0441\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0438 MSE \u0432\u0435\u0441\u043e\u0432 \u0438\u043b\u0438\u00a0\u043e\u0448\u0438\u0431\u043a\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430. \u0417\u0430\u0442\u0435\u043c \u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u2014 \u0438 Top-10\u00a0\u043f\u0430\u0434\u0430\u043b. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043b\u043e\u0438 \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u043b\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441\u0447\u0438\u0442\u0430\u043b\u0430 \u0434\u0435\u0448\u0451\u0432\u044b\u043c\u0438.\u0421\u0430\u043c\u044b\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u00a0\u2014 alternating joint V\/O \u043d\u0430\u00a0L16. \u042f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 A\u00b7V\u00b7O, \u043d\u0435\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u043d\u0438 \u0431\u0430\u0439\u0442\u0430 payload. \u0412\u043d\u0443\u0442\u0440\u0438 \u0431\u043b\u043e\u043a\u0430 \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u0440\u0430\u0437\u0443\u043c\u043d\u043e. \u041d\u0430\u00a0\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 Top-10\u00a0\u0440\u0443\u0445\u043d\u0443\u043b \u0441 62.42% \u0434\u043e 56.61%, cosine\u00a0\u2014 \u0441 0.8620\u00a0\u0434\u043e 0.8130, \u0430\u00a0KL \u0432\u044b\u0440\u043e\u0441 \u0441 0.6174\u00a0\u0434\u043e 0.8970. \u0420\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0441\u0442\u0430\u043b\u0430…<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-494119","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/494119","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=494119"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/494119\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=494119"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=494119"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=494119"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}