{"id":501963,"date":"2026-11-06T14:00:07","date_gmt":"2026-11-06T11:00:07","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=501963"},"modified":"2026-11-06T14:00:07","modified_gmt":"2026-11-06T11:00:07","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=501963","title":{"rendered":"Ollama \u043f\u0440\u043e\u0442\u0438\u0432 Magnitude \u043d\u0430 RTX 3060: \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435"},"content":{"rendered":"
\n
<\/figure>\n

\u041d\u0435\u0434\u0435\u043b\u044e \u043d\u0430\u0437\u0430\u0434 \u044f \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b\u0430 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044e \u0422\u043e\u043c\u0430 \u0413\u0440\u0438\u043d\u0432\u0430\u043b\u044c\u0434\u0430<\/a> \u0432 X (\u0431\u044b\u0432\u0448\u0435\u043c Twitter), \u0433\u0434\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0434\u0432\u0438\u0436\u043a\u0430 Magnitude \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437, \u043d\u0435 \u043c\u0435\u043d\u044f\u044f \u0436\u0435\u043b\u0435\u0437\u043e. \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0432 \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 Qwen3.5 4B.<\/p>\n

\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 Magnitude<\/a> \u0434\u043b\u044f Qwen3.5 4B \u043d\u0430 NVIDIA DGX Spark \u0443\u043a\u0430\u0437\u0430\u043d\u043e 296 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 61,1 \u0443 Ollama. \u041f\u043e\u0447\u0442\u0438 \u043f\u044f\u0442\u0438\u043a\u0440\u0430\u0442\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430, \u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e \u043e\u0434\u0438\u043d\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 decode \u0432 2,17 \u0440\u0430\u0437\u0430 \u043d\u0430 DGX Spark \u0438 2,19 \u0440\u0430\u0437\u0430 \u043d\u0430 Mac M4 Pro.<\/p>\n

\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 Magnitude \u0434\u0432\u0443\u043c\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438. \u0414\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u044f\u0434\u0440\u0430 (kernels) \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435. \u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f DFlash: \u043e\u043d \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0445. \u0423 Ollama \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u043d\u043e \u0432 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0434\u043b\u044f Qwen3.5 4B \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f MTP.<\/p>\n

\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u0435\u043d\u044f \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b Magnitude. \u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0441\u0442\u043e\u044f\u0442 \u043d\u0435\u0434\u0451\u0448\u0435\u0432\u043e, \u0430 \u0437\u0434\u0435\u0441\u044c \u043e\u0431\u0435\u0449\u0430\u044e\u0442 \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u043a\u0443\u043f\u043a\u0438 \u043d\u043e\u0432\u043e\u0433\u043e GPU.<\/p>\n

\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438 \u043a\u0430\u043a\u043e\u0439 \u0446\u0435\u043d\u043e\u0439, \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0436\u043d\u0438\u043c\u0438, \u0437\u0430\u043c\u0435\u043d\u0438\u0432 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0438\u0436\u043e\u043a?<\/p>\n

\u041c\u043e\u0451 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435:<\/strong> NVIDIA GeForce RTX 3060 \u0441 12 \u0413\u0411 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, Intel Core i7-12700, 32 \u0413\u0411 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, Windows 11, WSL2 \u0441 Ubuntu 24.04.1 LTS.<\/p>\n

\u0427\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 Magnitude<\/h2>\n

\u041d\u0430 DGX Spark \u0434\u043b\u044f Qwen3.5 4B \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (prefill) \u0432 1,47 \u0440\u0430\u0437\u0430: 2925 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0443 Ollama \u043f\u0440\u043e\u0442\u0438\u0432 4314 \u0443 Magnitude. Prefill<\/strong> \u2014 \u044d\u0442\u0430\u043f, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 KV-\u043a\u044d\u0448. \u0412 \u043d\u0451\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n

\u041f\u043e\u0447\u0442\u0438 \u043f\u044f\u0442\u0438\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u044f \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0430 \u0432\u044b\u0448\u0435, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 (decode<\/strong>). \u041d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0442\u043e\u043a\u0435\u043d \u0437\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u043c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 KV-\u043a\u044d\u0448\u0430.<\/p>\n

\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 Magnitude \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u00ab\u041c\u043e\u0431\u0438 \u0414\u0438\u043a\u0430\u00bb. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 64 \u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u043b\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 256. \u041e\u0434\u0438\u043d \u0442\u0438\u043f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438: \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0445\u043e\u0434 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0432\u044b\u0445\u043e\u0434.<\/p>\n

\u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u043d\u0435 \u0441\u0442\u0430\u043b\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432? \u041e\u043d\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043e\u0434\u0438\u043d \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439: \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0445\u043e\u0434 \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b. \u0422\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u0432\u0438\u0436\u043a\u043e\u0432 \u043f\u0440\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435. \u041d\u043e \u043f\u043e \u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0443\u0434\u0438\u0442\u044c, \u043a\u0430\u043a \u043e\u043d\u0438 \u043f\u043e\u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u0440\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0431\u044a\u0451\u043c\u0430\u0445 \u0432\u0445\u043e\u0434\u0430 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n

\u041c\u0435\u043d\u044f \u043a\u0430\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u044f \u043f\u043e\u0442\u0440\u0430\u0447\u0443 \u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 Ollama \u0438 Magnitude. \u041f\u0440\u0438\u0447\u0451\u043c \u043d\u0435\u0432\u0430\u0436\u043d\u043e, \u043f\u0438\u0448\u0443 \u044f \u043a\u043e\u0434, \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u0434\u0435\u043b\u0430\u044e \u0447\u0442\u043e-\u0442\u043e \u0435\u0449\u0451. \u042f \u0445\u043e\u0447\u0443 \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u0440\u0438 \u043a\u0430\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 Magnitude \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0438 \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044a\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n

\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u0438\u0439 \u0434\u043b\u044f \u0434\u0435\u0441\u044f\u0442\u0438 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0439 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e, \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u0438 \u0432\u044b\u0445\u043e\u0434\u0430. \u0414\u0435\u0432\u044f\u0442\u044c \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0439 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0431\u044a\u0451\u043c\u044b \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0434\u0435\u0441\u044f\u0442\u043e\u0435 \u2014 \u043e\u043a\u043e\u043b\u043e 9000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0432\u044b\u0445\u043e\u0434\u0435. \u0413\u0434\u0435-\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u044a\u0451\u043c \u043a\u043e\u0434\u0430 \u0438 \u0434\u0430\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442, \u0433\u0434\u0435-\u0442\u043e \u0438\u0437 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0445\u043e\u0434\u0430, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430.<\/p>\n

\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0445\u043e\u0434\u0430 (prefill)<\/strong>, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 (decode)<\/strong>, \u0432\u0440\u0435\u043c\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (TTFT) <\/strong>\u0438 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u041f\u043e \u044d\u0442\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0434\u0432\u0438\u0436\u043a\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u0431\u044a\u0451\u043c\u0430\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u0443\u0432\u0438\u0434\u0435\u0442\u044c, \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n

\u0423 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u0431\u044b\u043b \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d thinking, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043e\u043d\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438 \u043e\u0447\u0438\u0449\u0430\u043b\u0438 \u043a\u044d\u0448 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n

\u042f \u0442\u043e\u0436\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0430 thinking, \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043f\u0435\u0440\u0435\u0434 \u043a\u0430\u0436\u0434\u044b\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u0435\u043c, \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n

\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u0442\u0435\u043d\u0434\u0430<\/h2>\n

\u0414\u0432\u0438\u0436\u043e\u043a Ollama 0.40.14 \u0443\u0436\u0435 \u0431\u044b\u043b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u0432 Ubuntu 24.04.1 LTS (WSL2). \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0430 \u0438\u0441\u043f\u044b\u0442\u0443\u0435\u043c\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a Magnitude 0.2.16 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 Qwen3.5 4B \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 GGUF \u0441 \u0447\u0435\u0442\u044b\u0440\u0451\u0445\u0431\u0438\u0442\u043d\u044b\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435\u043c UD-Q4_K_XL. Qwen3.5 4B \u2014 Unsloth, GGUF<\/a>. \u042d\u0442\u043e\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 2,9 \u0413\u0411 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043c\u043e\u0435\u0439 RTX 3060 \u0441 12 \u0413\u0411 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u0427\u0435\u0440\u0435\u0437 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0435\u043b\u043e \u043e\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438. \u0414\u0440\u0443\u0433\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0433 \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0440\u0430\u0441\u0445\u043e\u0434 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n

\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u0434\u0430\u043b\u0430 \u0432 24 576 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043b\u0430 12 288. \u0421\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434 \u0437\u0430\u043d\u0438\u043c\u0430\u043b 9152 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u044b\u0445\u043e\u0434\u0430 \u043e\u043d \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0441\u044f \u0432 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u043e\u043a\u043d\u043e.<\/p>\n

\u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438 \u043f\u0435\u0440\u0435\u0434 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0435\u0440\u0438\u0435\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0435\u0432\u0430. \u0412\u0440\u0435\u043c\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0432\u0435\u0441\u043e\u0432 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u043e\u0441\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0412 \u0441\u0430\u043c \u0437\u0430\u043c\u0435\u0440 \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u0443\u0436\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n

\u041f\u0435\u0440\u0435\u0434 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u043c \u0441 Ollama \u043d\u0430 Magnitude \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u0440\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u0434\u0435\u043b\u0430\u043b\u0430 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0414\u0432\u0438\u0436\u043a\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 RTX 3060, \u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0430 \u043e\u0434\u043d\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f.<\/p>\n

\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 Magnitude \u0447\u0435\u0440\u0435\u0437 magnitude serve. \u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b Python-\u0441\u043a\u0440\u0438\u043f\u0442. \u041e\u043d \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f API Ollama \u0438 Magnitude \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u043b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435. \u041e\u0442\u0432\u0435\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u043b \u043f\u043e\u0442\u043e\u043a\u043e\u043c: \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u0441\u0435\u0447\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n

\u041d\u0438\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0434\u043b\u044f \u0434\u0432\u0443\u0445 API. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430, \u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0435 \u0434\u043b\u044f Ollama \u0438 Magnitude \u043f\u043e\u043b\u044f \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432\u0435\u0442\u043a\u0430\u0445.<\/p>\n

def payload(engine, config, prompt, max_tokens):    if engine == 'ollama':        return config['ollama']['url'], {            'model': config['ollama']['model'],            'messages': [{'role': 'user', 'content': prompt}],            'think': False,            'stream': True,            'keep_alive': config['ollama']['keep_alive'],            'options': {                'num_ctx': config['context_tokens'],                'num_predict': max_tokens            }        }    if engine == 'magnitude':        return config['magnitude']['url'], {            'model': config['magnitude']['model'],            'messages': [{'role': 'user', 'content': prompt}],            'temperature': config['temperature'],            'top_p': config['top_p'],            'max_tokens': max_tokens,            'stream': True,            'cache_prompt': False,            'chat_template_kwargs': {'enable_thinking': False},            'stream_options': {'include_usage': True}        }    raise ValueError(engine)<\/code>
<\/span><\/a><\/div><\/pre>\n
\u041a\u0430\u043a \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u043b\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443<\/h2>\n
\u0412\u0441\u0435\u0433\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u0438\u0439, \u043f\u043e \u0434\u0432\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0434\u0435\u0441\u044f\u0442\u0438 \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u0414\u0432\u0438\u0436\u043a\u0443, \u0432 \u043e\u0431\u0449\u0435\u043c-\u0442\u043e, \u0431\u0435\u0437\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e, \u043f\u0440\u043e\u0441\u0438\u043c \u043c\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u0438\u043b\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u0430\u0436\u043d\u044b \u043e\u0431\u044a\u0451\u043c \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432 \u043e\u0442\u0432\u0435\u0442\u0435.\u00a0<\/p>\n
\u0414\u043b\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u043e\u0442 142 \u0434\u043e 296 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u0431\u044b\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0441\u043f\u0440\u0430\u0432\u043a\u0438, \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f Python-\u043a\u043e\u0434\u0430. \u0412\u0445\u043e\u0434 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0437\u0430\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0433\u043b\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437.<\/p>\n
\u0421\u0440\u0435\u0434\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438 \u043e\u0442 2143 \u0434\u043e 2394 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0442\u0438\u043a\u0435\u0442\u043e\u0432. \u0413\u0434\u0435-\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043d\u0430\u0439\u0442\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0433\u0434\u0435-\u0442\u043e \u2014 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0438 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443.<\/p>\n
\u0414\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u043e\u0432 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u043e\u0442 7451 \u0434\u043e 7765 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u0442\u043e\u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0430 \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0430 \u0434\u0432\u0430 \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0441 \u0432\u0445\u043e\u0434\u043e\u043c \u043d\u0430 8844 \u0438 9152 \u0442\u043e\u043a\u0435\u043d\u0430. \u0412 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u043b\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043a\u043e\u043b\u043e 9000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u042d\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u0442\u044f\u0436\u0451\u043b\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0432 \u043c\u043e\u0435\u0439 \u0441\u0435\u0440\u0438\u0438: \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0445\u043e\u0434 \u0438 \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0445\u043e\u0434.<\/p>\n
\u041a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430 \u043e\u0431\u043e\u0438\u043c \u0434\u0432\u0438\u0436\u043a\u0430\u043c \u0442\u0440\u0438\u0436\u0434\u044b. \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0440\u0430\u0443\u043d\u0434\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430 \u0441 Ollama, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441 Magnitude, \u0432 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u043e\u043f\u044f\u0442\u044c \u0441 Ollama. \u041f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u0430\u043c\u0438\u0445 \u0437\u0430\u0434\u0430\u043d\u0438\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u0443\u043d\u0434\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u043b\u0441\u044f, \u043d\u043e \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b.<\/p>\n
\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f schedule()<\/code>. \u0412 \u043d\u0435\u0439 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043f\u043b\u0430\u043d \u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0430, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043e \u0442\u0440\u0438\u0436\u0434\u044b \u0447\u0435\u0440\u0435\u0437 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a, \u0431\u0435\u0437 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043e\u0432 \u0438 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n
import randomREPEATS = 3SEED = 20261021def schedule(tasks):    ids = [t['id'] for t in tasks]    planned = []    for repetition in range(1, REPEATS + 1):        rng = random.Random(SEED + repetition)        ordered = ids.copy()        rng.shuffle(ordered)        engines = ('ollama', 'magnitude') if repetition % 2 \\            else ('magnitude', 'ollama')        for engine in engines:            for tid in ordered:                planned.append((repetition, engine, tid))    assert len(planned) == 120 and len(set(planned)) == 120    return planned<\/code>
<\/span><\/a><\/div><\/pre>\n
\u0421\u043a\u0440\u0438\u043f\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u041f\u043e\u0437\u0436\u0435 \u044f \u043c\u043e\u0433\u043b\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u043f\u043e\u0432\u0442\u043e\u0440 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0435\u0433\u043e \u0441 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u043c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430. \u0422\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u043b\u0441\u044f \u0430\u0440\u0445\u0438\u0432 \u0441\u043e 120 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438.<\/p>\n
\u041a\u0430\u043a \u044f \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/h2>\n
\u0414\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430 \u0441\u043a\u0440\u0438\u043f\u0442 \u043d\u0430 Python. \u041e\u043d \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 Ollama \u0438\u043b\u0438 Magnitude \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b \u0432\u0440\u0435\u043c\u044f. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0441\u0435\u043a\u0430\u043b, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u043b\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e.<\/p>\n
\u041e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f. \u0412\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443, \u0430 \u043c\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u043b \u0435\u0451 \u043f\u043e \u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u0438\u0437 120 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u0430\u043c\u0435\u0440\u0430\u043c\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 GPU.<\/p>\n
\u0412 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0432\u0441\u0435\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0438\u043b\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n
\u0421\u043a\u0440\u0438\u043f\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u043e\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0432 \u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0423 Ollama \u0432\u0440\u0435\u043c\u044f \u0432 API \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u043d\u0430\u043d\u043e\u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445, \u0443 Magnitude \u2014 \u0432 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445, \u043d\u0443 \u0430 \u043a\u0430\u043a \u0432\u044b \u0445\u043e\u0442\u0435\u043b\u0438, \u043d\u0435 \u0432\u0441\u0451 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e. \u041f\u0435\u0440\u0435\u0434 \u0440\u0430\u0441\u0447\u0435\u0442\u0430\u043c\u0438 \u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043b\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0431\u0435\u0437 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u044f.<\/p>\n
\u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, Ollama \u0432 \u043e\u0434\u043d\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0441\u043e\u043e\u0431\u0449\u0438\u043b\u0430, \u0447\u0442\u043e \u0432\u044b\u0434\u0430\u043b\u0430 1070 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 14,694 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u042d\u0442\u043e \u043e\u043a\u043e\u043b\u043e 73 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0412 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 Magnitude \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0436\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c 1122 \u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u0430 4,223 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043a\u043e\u043b\u043e 266 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f, \u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/p>\n
\u0412\u0440\u0435\u043c\u044f \u0434\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (TTFT<\/strong>) \u0442\u043e\u0436\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b\u0430. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0438\u0448\u0435\u0442 \u043e\u0442\u0432\u0435\u0442, \u043d\u043e \u0434\u043e\u043b\u0433\u043e \u043c\u043e\u043b\u0447\u0438\u0442 \u043f\u043e\u0441\u043b\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043e\u0434\u0438\u043d \u0442\u043e\u043b\u044c\u043a\u043e decode \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u043f\u043e\u043a\u0430\u0436\u0435\u0442. \u0412 \u0441\u043a\u0440\u0438\u043f\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0430 time.perf_counter()<\/code> \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0430 \u043f\u0440\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043d\u0435\u043f\u0443\u0441\u0442\u043e\u0433\u043e \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0430 \u043f\u0440\u043e\u0448\u0435\u0434\u0448\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0432 first_text_s<\/code>.<\/p>\n
started = time.perf_counter()first_text_s = Nonewith opener.open(    request,    timeout=config['request_timeout_seconds']) as stream:    for raw in stream:        event = parse_event(            engine, raw.decode('utf-8', 'replace')        )        if event is None:            continue        if event.get('terminal_marker'):            break        if event['delta']:            if first_text_s is None and event['delta'].strip():                first_text_s = time.perf_counter() - started<\/code>
<\/span><\/a><\/div><\/pre>\n
\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441\u043a\u0440\u0438\u043f\u0442 \u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u043b nvidia-smi<\/code> \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a\u0430\u0436\u0434\u044b\u0435 350 \u043c\u0441. \u0422\u0430\u043a \u044f \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u0443 GPU. \u0414\u043b\u044f \u0441\u0431\u043e\u0440\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430 ResourceSampler<\/code>. \u041e\u043f\u0440\u043e\u0441 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0441\u044f \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435:<\/p>\n
SAMPLE_INTERVAL_S = 0.35class ResourceSampler:    def __init__(self):        self.samples = []        self.stop_flag = threading.Event()        self.thread = threading.Thread(target=self.loop, daemon=True)    def loop(self):        while not self.stop_flag.is_set():            self.samples.append(snapshot())            self.stop_flag.wait(SAMPLE_INTERVAL_S)    def __enter__(self):        self.samples.append(snapshot())        self.thread.start()        return self    def __exit__(self, *exc):        self.stop_flag.set()        self.thread.join(timeout=5)<\/code>
<\/span><\/a><\/div><\/pre>\n
\u0421\u0430\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 with ResourceSampler()<\/code>. \u041f\u043e\u0441\u043b\u0435 \u0435\u0433\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u043b\u0441\u044f, \u0430 \u0441\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f.\u00a0<\/p>\n
with ResourceSampler() as sampler:    result = invoke(engine, task['prompt'], cap)resources = resource_summary(sampler.samples)baseline = warmup_record['baseline_before_model_load']<\/code>
<\/span><\/a><\/div><\/pre>\n
\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0437\u0430\u043d\u044f\u0442\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u043c \u0437\u0430\u043c\u0435\u0440\u0430\u043c. \u041f\u0435\u0440\u0435\u0434 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043a\u0440\u0438\u043f\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 VRAM, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0430 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0434\u0432\u0438\u0436\u043a\u0430.<\/p>\n
nvidia-smi<\/code> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0431\u0449\u0443\u044e \u0437\u0430\u043d\u044f\u0442\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0445\u043e\u0434 Ollama \u0438 Magnitude \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0430 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n
\u0427\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0438<\/h2>\n
\u041f\u043e\u0441\u043b\u0435 120 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u0430. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c Ollama \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0430 \u0432\u043e\u0442 \u0443 Magnitude \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0435\u043b\u0438 \u043e\u0442 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0434\u043b\u0438\u043d\u044b \u0432\u0445\u043e\u0434\u0430 \u0438 \u043e\u0442\u0432\u0435\u0442\u0430. \u041f\u0440\u0438\u0447\u0451\u043c \u043d\u0430\u0448\u0451\u043b\u0441\u044f \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c Magnitude \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u043e \u0441\u0430\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0430 \u0434\u043e\u043b\u044c\u0448\u0435.<\/p>\n
\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0432\u0441\u0435 \u0434\u0435\u0441\u044f\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u0439. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c decode. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u043e\u0444\u0438\u043b\u044f \u0431\u044b\u043b\u043e \u0434\u0432\u0430 \u0437\u0430\u0434\u0430\u043d\u0438\u044f, \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u043e\u0441\u044c \u0442\u0440\u0438\u0436\u0434\u044b \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430.<\/p>\n
\n
\n\n\n\n\n\n\n\n\n\n\n\n\n\n
\n
\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/strong><\/p>\n<\/th>\n
\n
Ollama, \u0441<\/strong><\/p>\n<\/th>\n
\n
Magnitude, \u0441<\/strong><\/p>\n<\/th>\n
\n
Decode Ollama, \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/th>\n
\n
Decode Magnitude, \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/th>\n<\/tr>\n
\n
\u0411\u044b\u0441\u0442\u0440\u0430\u044f \u0441\u043f\u0440\u0430\u0432\u043a\u0430 (SS01, SS02) \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0432\u0445\u043e\u0434, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
1,55<\/p>\n<\/td>\n
\n
0,57<\/p>\n<\/td>\n
\n
81,0<\/p>\n<\/td>\n
\n
271,2<\/p>\n<\/td>\n<\/tr>\n
\n
\u0420\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 (SM01, SM02) \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0432\u0445\u043e\u0434, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
7,27<\/p>\n<\/td>\n
\n
3,08<\/p>\n<\/td>\n
\n
80,2<\/p>\n<\/td>\n
\n
163,8<\/p>\n<\/td>\n<\/tr>\n
\n
\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 (SL01, SL02) \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0432\u0445\u043e\u0434, \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
49,74<\/p>\n<\/td>\n
\n
16,36<\/p>\n<\/td>\n
\n
77,1<\/p>\n<\/td>\n
\n
214,0<\/p>\n<\/td>\n<\/tr>\n
\n
\u041f\u043e\u0438\u0441\u043a \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u0437\u0430\u043f\u0438\u0441\u044f\u0445 (MS01, MS02) \u2014 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0432\u0445\u043e\u0434, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
1,89<\/p>\n<\/td>\n
\n
1,63<\/p>\n<\/td>\n
\n
80,2<\/p>\n<\/td>\n
\n
134,9<\/p>\n<\/td>\n<\/tr>\n
\n
\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0430 (MM01, MM02) \u2014 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0432\u0445\u043e\u0434, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
14,04<\/p>\n<\/td>\n
\n
4,02<\/p>\n<\/td>\n
\n
79,4<\/p>\n<\/td>\n
\n
343,3<\/p>\n<\/td>\n<\/tr>\n
\n
\u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u0437 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 (ML01, ML02) \u2014 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0432\u0445\u043e\u0434, \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
37,59<\/p>\n<\/td>\n
\n
14,60<\/p>\n<\/td>\n
\n
77,6<\/p>\n<\/td>\n
\n
253,8<\/p>\n<\/td>\n<\/tr>\n
\n
\u041f\u043e\u0438\u0441\u043a \u0432 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u0435 (LS01, LS02) \u2014 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
3,68<\/p>\n<\/td>\n
\n
4,09<\/p>\n<\/td>\n
\n
74,7<\/p>\n<\/td>\n
\n
104,1<\/p>\n<\/td>\n<\/tr>\n
\n
\u0410\u043d\u0430\u043b\u0438\u0437 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0430 (LM01, LM02) \u2014 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
44,46<\/p>\n<\/td>\n
\n
14,03<\/p>\n<\/td>\n
\n
72,7<\/p>\n<\/td>\n
\n
273,7<\/p>\n<\/td>\n<\/tr>\n
\n
\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0430 (LL01, LL02) \u2014 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434, \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n
\n
54,48<\/p>\n<\/td>\n
\n
19,70<\/p>\n<\/td>\n
\n
72,6<\/p>\n<\/td>\n
\n
277,8<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 (XX01, XX02) \u2014 \u043e\u043a\u043e\u043b\u043e 9000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0432\u044b\u0445\u043e\u0434\u0435<\/p>\n<\/td>\n
\n
131,31<\/p>\n<\/td>\n
\n
34,19<\/p>\n<\/td>\n
\n
71,0<\/p>\n<\/td>\n
\n
302,0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u041d\u0430\u0447\u043d\u0443 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u041f\u043e \u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u0438\u0437 120 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 decode \u0443 Ollama \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 76,65 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441, \u0443 Magnitude \u2014 233,87 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441.<\/p>\n
Magnitude \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 3,05 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 205%.<\/strong><\/p>\n
\u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u043e\u0441\u044c \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u0435\u0441\u044f\u0442\u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445, \u043d\u043e \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0432\u0445\u043e\u0434\u0435 \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0435 Magnitude \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u043b\u0430 343 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0430 \u043f\u0440\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0432\u0445\u043e\u0434\u0435 \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u2014 \u0442\u043e\u043b\u044c\u043a\u043e 104. \u0423 Ollama \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u043e \u043f\u0440\u043e\u0444\u0438\u043b\u044f\u043c \u0434\u0435\u0440\u0436\u0430\u043b\u0430\u0441\u044c \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 71\u201381 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441.<\/p>\n
\"\u0421\u0440\u0435\u0434\u043d\u044f\u044f<\/p>\n
\u0421\u0440\u0435\u0434\u043d\u044f\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 Decode<\/em><\/strong> <\/figcaption><\/div>\n<\/figure>\n
\u0421 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 Ollama \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0435\u0451 prefill \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 2667 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 2081 \u0443 Magnitude.<\/p>\n
\u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Ollama \u2014 28,2%, \u043f\u0440\u0438\u0447\u0451\u043c \u043e\u043d\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u043b\u043e\u0441\u044c \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u0435\u0441\u044f\u0442\u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445.<\/strong><\/p>\n
\u041d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u0430\u0445 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u0430. Ollama \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 3100 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, Magnitude \u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 2300. \u041a\u043e\u0433\u0434\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0447\u0442\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442, \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0432\u0445\u043e\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n
\"\u0421\u0440\u0435\u0434\u043d\u044f\u044f<\/p>\n
\u0421\u0440\u0435\u0434\u043d\u044f\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0445\u043e\u0434\u0430 Prefill<\/em><\/strong><\/figcaption><\/div>\n<\/figure>\n
\u041f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 Ollama \u0442\u043e\u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u043f\u0435\u0440\u0435\u0434\u0438: \u0441\u0440\u0435\u0434\u043d\u0438\u0439 TTFT \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 1,47 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043f\u0440\u043e\u0442\u0438\u0432 1,76 \u0443 Magnitude.<\/p>\n
\u041e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0443 Ollama \u0431\u044b\u043b\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 16,7% \u043a\u043e\u0440\u043e\u0447\u0435.<\/strong> \u041d\u043e \u0437\u0434\u0435\u0441\u044c \u0432\u0441\u0451 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0445\u043e\u0434\u0430.<\/p>\n
\u041f\u0440\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 Magnitude \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u0440\u0430\u043d\u044c\u0448\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043f\u0440\u043e\u0444\u0438\u043b\u0435 SS \u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0441\u044f \u0447\u0435\u0440\u0435\u0437 0,19 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0443 Ollama \u2014 \u0447\u0435\u0440\u0435\u0437 0,36. \u0414\u043b\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0441\u0431\u043b\u0438\u0436\u0430\u043b\u0438\u0441\u044c, \u0430 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0432\u0445\u043e\u0434\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043b\u043e \u043a Ollama. \u0412 \u043f\u0440\u043e\u0444\u0438\u043b\u0435 LS \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u043e 2,65 \u0438 3,34 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n
\"\u0421\u0440\u0435\u0434\u043d\u0435\u0435<\/p>\n
\u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 TTFT<\/em><\/strong><\/figcaption><\/div>\n<\/figure>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u043e \u043f\u043e\u043b\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u0412 \u0434\u0435\u0432\u044f\u0442\u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u0438\u0437 \u0434\u0435\u0441\u044f\u0442\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u043b\u0430 Magnitude. \u0418\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0441\u0442\u0430\u043b \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434 \u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c. \u0417\u0434\u0435\u0441\u044c Ollama \u0432\u044b\u0438\u0433\u0440\u0430\u043b\u0430, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 decode.<\/p>\n
\u0412 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 LS01 \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 7762 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430. Ollama \u0432\u044b\u0434\u0430\u043b\u0430 77 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 3,67 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, Magnitude \u2014 78 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 4,41. \u041e\u0442\u0432\u0435\u0442\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0439 \u0434\u043b\u0438\u043d\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u0418 \u044d\u0442\u043e \u0431\u044b\u043b \u043d\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: \u0432\u043e \u0432\u0441\u0435\u0445 \u0448\u0435\u0441\u0442\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445 \u043f\u0440\u043e\u0444\u0438\u043b\u044f LS Ollama \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430 \u0440\u0430\u043d\u044c\u0448\u0435.<\/p>\n
\u041d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0432\u0445\u043e\u0434\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0430\u044f. \u0412 SS01 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0432\u044b\u0434\u0430\u043b\u0438 \u0440\u043e\u0432\u043d\u043e \u043f\u043e 104 \u0442\u043e\u043a\u0435\u043d\u0430. Ollama \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c 1,65 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, Magnitude \u2014 0,57. \u0417\u0434\u0435\u0441\u044c \u0443\u0436\u0435 Magnitude \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c, \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0441\u0430\u043c \u0442\u0435\u043a\u0441\u0442.<\/p>\n
\u0414\u043b\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430\u0448\u043b\u0438\u0441\u044c \u0434\u0432\u0430 \u0443\u0434\u043e\u0431\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u2014 MM01 \u0438 MM02. \u0412\u043e \u0432\u0441\u0435\u0445 \u0442\u0440\u0451\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u0430\u0445 \u043e\u043d\u0438 \u0434\u0430\u0432\u0430\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043e\u0431\u043e\u0438\u0445 \u0434\u0432\u0438\u0436\u043a\u0430\u0445: 1065 \u0438 1008 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u041f\u0435\u0440\u0432\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0441\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u043e\u043a\u043e\u043b\u043e \u0441\u0435\u043a\u0443\u043d\u0434\u044b. \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043f\u043e \u043f\u043e\u043b\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 3,5 \u0440\u0430\u0437\u0430 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 Magnitude.<\/p>\n
\u0415\u0449\u0451 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0435\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0432\u0442\u043e\u0440 SL02, \u0433\u0434\u0435 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u043e 3300 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. Ollama \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 43,84 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, Magnitude \u2014 9,34. \u041f\u043e\u0447\u0442\u0438 \u0432 4,7 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u043e\u0431\u044a\u0451\u043c\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n
\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c XX. \u0414\u0432\u0430 \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b\u0438 8844 \u0438 9152 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430. \u041c\u043e\u0434\u0435\u043b\u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c 8750 \u0438 9451 \u0442\u043e\u043a\u0435\u043d \u043e\u0442\u0432\u0435\u0442\u0430. \u0412\u043e \u0432\u0441\u0435\u0445 \u0448\u0435\u0441\u0442\u0438 \u043f\u0430\u0440\u0430\u0445 \u0434\u043b\u0438\u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0443 \u043e\u0431\u043e\u0438\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u043b\u0430.<\/p>\n
\u041d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0435 XX02 Ollama \u0432\u044b\u0434\u0430\u043b\u0430 9451 \u0442\u043e\u043a\u0435\u043d \u0437\u0430 132,39 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, Magnitude \u2014 \u0437\u0430 34,96. \u041f\u0435\u0440\u0432\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0440\u0430\u043d\u044c\u0448\u0435 \u0443 Ollama: \u0447\u0435\u0440\u0435\u0437 2,98 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043f\u0440\u043e\u0442\u0438\u0432 4,11. \u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 decode<\/strong>, \u0438 Magnitude \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n
\u041d\u0430 \u0432\u0441\u0451\u043c \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 Magnitude \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0430 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 3,84 \u0440\u0430\u0437\u0430.<\/p>\n
\u0415\u0441\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0432\u0441\u0435 120 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u043e 34,60 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0443 Ollama \u0438 11,23 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0443 Magnitude. \u0421\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u2014 67,5%, \u0438\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 3,08 \u0440\u0430\u0437\u0430.<\/strong><\/p>\n
\u041e\u0442\u043a\u0443\u0434\u0430 \u0443 Magnitude \u0442\u0430\u043a\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 decode<\/strong>, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 DFlash.<\/p>\n
DFlash \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/h2>\n
\u0412 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u0438 SS02 \u0441 \u0432\u0445\u043e\u0434\u043e\u043c \u0432 268 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 Magnitude \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 200 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u2014 307, \u0430 \u0432 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u2014 271. \u0417\u0430\u0434\u0430\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u0442\u0435\u043c \u0436\u0435, \u043d\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b\u0430\u0441\u044c.<\/p>\n
\u0412 \u0437\u0430\u043f\u0438\u0441\u044f\u0445 Magnitude \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0441\u044c \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u0438 DFlash<\/strong>. \u042d\u0442\u043e\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0447\u0435\u0440\u043d\u043e\u0432\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e: \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u043d\u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c. \u0415\u0441\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0438\u0434\u0442\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n
\u0414\u043b\u044f \u0441\u0430\u043c\u043e\u0433\u043e \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0430 \u0442\u0430\u043a: \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e 82 \u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430, \u043f\u0440\u0438\u043d\u044f\u0442\u043e 56 \u2014 68,3%. \u0412 \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u043e 50 \u0438\u0437 190 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445, \u0438\u043b\u0438 26,3%. \u0422\u0440\u0435\u0442\u0438\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u043e\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438 \u0434\u043e\u043b\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432: 52 \u0438\u0437 100, \u0438\u043b\u0438 52%.<\/p>\n
\n
\n\n\n\n\n\n\n
\n
\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c decode<\/strong><\/p>\n<\/td>\n
\n
\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e DFlash<\/strong><\/p>\n<\/td>\n
\n
\u041f\u0440\u0438\u043d\u044f\u0442\u043e<\/strong><\/p>\n<\/td>\n
\n
\u0414\u043e\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445<\/strong><\/p>\n<\/td>\n<\/tr>\n
\n
199,938\u00a0 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441<\/p>\n<\/td>\n
\n
190<\/p>\n<\/td>\n
\n
50<\/p>\n<\/td>\n
\n
26,3%<\/p>\n<\/td>\n<\/tr>\n
\n
307,345\u00a0 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441<\/p>\n<\/td>\n
\n
82<\/p>\n<\/td>\n
\n
56<\/p>\n<\/td>\n
\n
68,3%<\/p>\n<\/td>\n<\/tr>\n
\n
270,566\u00a0 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441<\/p>\n<\/td>\n
\n
100<\/p>\n<\/td>\n
\n
52<\/p>\n<\/td>\n
\n
52,0%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u041d\u0430 \u044d\u0442\u0438\u0445 \u0442\u0440\u0451\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0434\u043e\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u043b\u0430 \u0441 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e. \u0412 \u043e\u0431\u0449\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 Magnitude \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 206 392 \u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u043f\u0440\u0438\u043d\u044f\u043b\u0430 95 942, \u044d\u0442\u043e \u043e\u043a\u043e\u043b\u043e 46,5%.<\/p>\n
DFlash<\/strong> \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u0431\u044b\u043b \u0432\u043a\u043b\u044e\u0447\u0435\u043d. \u0415\u0433\u043e \u0442\u043e\u0447\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u044f \u043f\u043e\u043a\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u0438\u043b\u0430. \u0417\u0430\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0435\u0440\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0443 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443.<\/p>\n
\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c<\/h2>\n
\u041a\u0430\u043a \u0432\u044b \u043f\u043e\u043c\u043d\u0438\u0442\u0435, \u0441\u043a\u0440\u0438\u043f\u0442 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b \u0437\u0430\u043d\u044f\u0442\u0443\u044e VRAM \u0434\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n
\n
\n\n\n\n\n\n
\n
\u0427\u0442\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0430<\/strong><\/p>\n<\/td>\n
\n
Ollama<\/strong><\/p>\n<\/td>\n
\n
Magnitude<\/strong><\/p>\n<\/td>\n<\/tr>\n
\n
\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043d\u044f\u0442\u0430\u044f VRAM \u0432\u0441\u0435\u0439 GPU, \u043c\u0435\u0434\u0438\u0430\u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u043e\u0432 \u043f\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u00a0<\/p>\n<\/td>\n
\n
4575 \u041c\u0438\u0411<\/p>\n<\/td>\n
\n
6685 \u041c\u0438\u0411<\/p>\n<\/td>\n<\/tr>\n
\n
\u041f\u0440\u0438\u0440\u043e\u0441\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438<\/p>\n<\/td>\n
\n
3936 \u041c\u0438\u0411<\/p>\n<\/td>\n
\n
6067,5 \u041c\u0438\u0411<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u041f\u0440\u0438\u0440\u043e\u0441\u0442 \u0437\u0430\u043d\u044f\u0442\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0443 Magnitude \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 2131,5 \u041c\u0438\u0411 \u0431\u043e\u043b\u044c\u0448\u0435. \u042d\u0442\u043e \u043e\u043a\u043e\u043b\u043e 2,1 \u0413\u0438\u0411. \u0414\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u043d\u044f\u0442\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 630 \u041c\u0438\u0411, \u0437\u0430\u0442\u0435\u043c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 4,47 \u0413\u0438\u0411 \u0441 Ollama \u0438 6,53 \u0413\u0438\u0411 \u0441 Magnitude.<\/p>\n
\u0415\u0441\u043b\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0442\u043e-\u0442\u043e \u0435\u0449\u0451, \u0442\u0430\u043a\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430. \u041f\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0432\u0448\u0438\u043c\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430\u043c \u0443 Magnitude \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e 5,47 \u0413\u0438\u0411 \u0438\u0437 12 \u0413\u0438\u0411, \u0443 Ollama \u043e\u043a\u043e\u043b\u043e 7,5 \u0413\u0438\u0411. \u042d\u0442\u043e \u0437\u0430\u043f\u0430\u0441 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u0448\u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439, \u0430 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n
\u0412\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u044c \u0440\u0430\u0441\u0445\u043e\u0434\u0443\u0435\u0442\u0441\u044f \u0438 \u043d\u0430 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u043d\u0430 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, KV-\u043a\u044d\u0448 \u0445\u0440\u0430\u043d\u0438\u0442 \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0431 \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043f\u0440\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u0421 \u0440\u043e\u0441\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f. Magnitude \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f KV-\u043a\u044d\u0448\u0430, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n
\u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u044d\u0442\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043d\u0435 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u043b\u0430. \u041f\u043e\u043a\u0430 \u0432\u0438\u0434\u043d\u043e, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f Magnitude, \u0438 \u0435\u0441\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0443\u0434\u0430\u0441\u0442\u0441\u044f \u043b\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u0440\u0430\u0441\u0445\u043e\u0434 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n
\u0427\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435<\/h2>\n
\u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u0442\u0435\u0441\u0442\u043e\u0432 \u043c\u0435\u043d\u044f \u043e\u0437\u0430\u0434\u0430\u0447\u0438\u043b \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 Magnitude. \u0412 \u043b\u043e\u0433\u0430\u0445 \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0430, \u0447\u0442\u043e \u0434\u043e\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 DFlash-\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445 \u0442\u043e\u0436\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b\u0430\u0441\u044c. \u0421\u0432\u044f\u0437\u0430\u043d\u044b \u043b\u0438 \u044d\u0442\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u043f\u043e\u043a\u0430 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043d\u0430\u0447\u043d\u0443 \u0441 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f DFlash<\/strong>. \u041f\u043e\u0432\u0442\u043e\u0440\u044e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u043c\u0438 \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438, \u0441\u0440\u0430\u0432\u043d\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, TTFT<\/strong> \u0438 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438. \u041f\u043e\u0442\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 KV-\u043a\u044d\u0448\u0430: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043e\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0442\u044c \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c DFlash<\/strong> \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u043c KV-\u043a\u044d\u0448\u0435\u043c.<\/p>\n
\u0412\u0441\u0451-\u0442\u0430\u043a\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 2,1 \u0413\u0438\u0411 VRAM<\/strong> \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435 \u0441 12 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438 \u2014 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u0439 \u0440\u0430\u0441\u0445\u043e\u0434. \u0410 \u0435\u0441\u043b\u0438 \u0443\u0434\u0430\u0441\u0442\u0441\u044f \u0435\u0433\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c, \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043d\u044b\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f Magnitude \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f.<\/p>\n\n
\u041d\u041b\u041e \u043f\u0440\u0438\u043b\u0435\u0442\u0435\u043b\u043e \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u043e \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u043c\u043e\u043a\u043e\u0434 \u0434\u043b\u044f \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430\u0448\u0435\u0433\u043e \u0431\u043b\u043e\u0433\u0430:
-15% \u043d\u0430 \u0437\u0430\u043a\u0430\u0437 \u043d\u043e\u0432\u043e\u0433\u043e VDS<\/a>\u00a0\u2014\u00a0HABRFIRSTVDS<\/strong>.<\/p>\n
\u041f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u0431 \u0430\u043a\u0446\u0438\u0438<\/a><\/p>\n<\/div>\n
\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 https:\/\/habr.com\/ru\/articles\/1104338\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
\u041d\u0435\u0434\u0435\u043b\u044e \u043d\u0430\u0437\u0430\u0434 \u044f \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b\u0430 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044e \u0422\u043e\u043c\u0430 \u0413\u0440\u0438\u043d\u0432\u0430\u043b\u044c\u0434\u0430 \u0432 X (\u0431\u044b\u0432\u0448\u0435\u043c Twitter), \u0433\u0434\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0434\u0432\u0438\u0436\u043a\u0430 Magnitude \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437, \u043d\u0435 \u043c\u0435\u043d\u044f\u044f \u0436\u0435\u043b\u0435\u0437\u043e. \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0432 \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 Qwen3.5 4B.\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 Magnitude \u0434\u043b\u044f Qwen3.5 4B \u043d\u0430 NVIDIA DGX Spark \u0443\u043a\u0430\u0437\u0430\u043d\u043e 296 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 61,1 \u0443 Ollama. \u041f\u043e\u0447\u0442\u0438 \u043f\u044f\u0442\u0438\u043a\u0440\u0430\u0442\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430, \u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e \u043e\u0434\u0438\u043d\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 decode \u0432 2,17 \u0440\u0430\u0437\u0430 \u043d\u0430 DGX Spark \u0438 2,19 \u0440\u0430\u0437\u0430 \u043d\u0430 Mac M4 Pro.\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 Magnitude \u0434\u0432\u0443\u043c\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438. \u0414\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u044f\u0434\u0440\u0430 (kernels) \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435. \u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f DFlash: \u043e\u043d \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0445. \u0423 Ollama \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u043d\u043e \u0432 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0434\u043b\u044f Qwen3.5 4B \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f MTP.\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u0435\u043d\u044f \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b Magnitude. \u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0441\u0442\u043e\u044f\u0442 \u043d\u0435\u0434\u0451\u0448\u0435\u0432\u043e, \u0430 \u0437\u0434\u0435\u0441\u044c \u043e\u0431\u0435\u0449\u0430\u044e\u0442 \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u043a\u0443\u043f\u043a\u0438 \u043d\u043e\u0432\u043e\u0433\u043e GPU.\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438 \u043a\u0430\u043a\u043e\u0439 \u0446\u0435\u043d\u043e\u0439, \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0436\u043d\u0438\u043c\u0438, \u0437\u0430\u043c\u0435\u043d\u0438\u0432 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0438\u0436\u043e\u043a?\u041c\u043e\u0451 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435: NVIDIA GeForce RTX 3060 \u0441 12 \u0413\u0411 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, Intel Core i7-12700, 32 \u0413\u0411 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, Windows 11, WSL2 \u0441 Ubuntu 24.04.1 LTS.\u0427\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 Magnitude\u041d\u0430 DGX Spark \u0434\u043b\u044f Qwen3.5 4B \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (prefill) \u0432 1,47 \u0440\u0430\u0437\u0430: 2925 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0443 Ollama \u043f\u0440\u043e\u0442\u0438\u0432 4314 \u0443 Magnitude. Prefill \u2014 \u044d\u0442\u0430\u043f, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 KV-\u043a\u044d\u0448. \u0412 \u043d\u0451\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430.\u041f\u043e\u0447\u0442\u0438 \u043f\u044f\u0442\u0438\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u044f \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0430 \u0432\u044b\u0448\u0435, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 (decode). \u041d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0442\u043e\u043a\u0435\u043d \u0437\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u043c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 KV-\u043a\u044d\u0448\u0430.\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 Magnitude \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u00ab\u041c\u043e\u0431\u0438 \u0414\u0438\u043a\u0430\u00bb. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 64 \u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u043b\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 256. \u041e\u0434\u0438\u043d \u0442\u0438\u043f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438: \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0445\u043e\u0434 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0432\u044b\u0445\u043e\u0434.\u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u043d\u0435 \u0441\u0442\u0430\u043b\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432? \u041e\u043d\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043e\u0434\u0438\u043d \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439: \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0445\u043e\u0434 \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b. \u0422\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u0432\u0438\u0436\u043a\u043e\u0432 \u043f\u0440\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435. \u041d\u043e \u043f\u043e \u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0443\u0434\u0438\u0442\u044c, \u043a\u0430\u043a \u043e\u043d\u0438 \u043f\u043e\u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u0440\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0431\u044a\u0451\u043c\u0430\u0445 \u0432\u0445\u043e\u0434\u0430 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.\u041c\u0435\u043d\u044f \u043a\u0430\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u044f \u043f\u043e\u0442\u0440\u0430\u0447\u0443 \u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 Ollama \u0438 Magnitude. \u041f\u0440\u0438\u0447\u0451\u043c \u043d\u0435\u0432\u0430\u0436\u043d\u043e, \u043f\u0438\u0448\u0443 \u044f \u043a\u043e\u0434, \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u0434\u0435\u043b\u0430\u044e \u0447\u0442\u043e-\u0442\u043e \u0435\u0449\u0451. \u042f \u0445\u043e\u0447\u0443 \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u0440\u0438 \u043a\u0430\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 Magnitude \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0438 \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044a\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u0438\u0439 \u0434\u043b\u044f \u0434\u0435\u0441\u044f\u0442\u0438 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0439 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e, \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u0438 \u0432\u044b\u0445\u043e\u0434\u0430. \u0414\u0435\u0432\u044f\u0442\u044c \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0439 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0431\u044a\u0451\u043c\u044b \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0434\u0435\u0441\u044f\u0442\u043e\u0435 \u2014 \u043e\u043a\u043e\u043b\u043e 9000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0432\u044b\u0445\u043e\u0434\u0435. \u0413\u0434\u0435-\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u044a\u0451\u043c \u043a\u043e\u0434\u0430 \u0438 \u0434\u0430\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442, \u0433\u0434\u0435-\u0442\u043e \u0438\u0437 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0445\u043e\u0434\u0430, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430.\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0445\u043e\u0434\u0430 (prefill), \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 (decode), \u0432\u0440\u0435\u043c\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (TTFT) \u0438 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u041f\u043e \u044d\u0442\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0434\u0432\u0438\u0436\u043a\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u0431\u044a\u0451\u043c\u0430\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u0443\u0432\u0438\u0434\u0435\u0442\u044c, \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.\u0423 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u0431\u044b\u043b \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d thinking, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043e\u043d\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438 \u043e\u0447\u0438\u0449\u0430\u043b\u0438 \u043a\u044d\u0448 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.\u042f \u0442\u043e\u0436\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0430 thinking, \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043f\u0435\u0440\u0435\u0434 \u043a\u0430\u0436\u0434\u044b\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u0435\u043c, \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u0442\u0435\u043d\u0434\u0430\u0414\u0432\u0438\u0436\u043e\u043a Ollama 0.40.14 \u0443\u0436\u0435 \u0431\u044b\u043b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u0432 Ubuntu 24.04.1 LTS (WSL2). \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0430 \u0438\u0441\u043f\u044b\u0442\u0443\u0435\u043c\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a Magnitude 0.2.16 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 Qwen3.5 4B \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 GGUF \u0441 \u0447\u0435\u0442\u044b\u0440\u0451\u0445\u0431\u0438\u0442\u043d\u044b\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435\u043c UD-Q4_K_XL. Qwen3.5 4B \u2014 Unsloth, GGUF. \u042d\u0442\u043e\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 2,9 \u0413\u0411 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043c\u043e\u0435\u0439 RTX 3060 \u0441 12 \u0413\u0411 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u0427\u0435\u0440\u0435\u0437 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0435\u043b\u043e \u043e\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438. \u0414\u0440\u0443\u0433\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0433 \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0440\u0430\u0441\u0445\u043e\u0434 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438.\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u0434\u0430\u043b\u0430 \u0432 24 576 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043b\u0430 12 288. \u0421\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434 \u0437\u0430\u043d\u0438\u043c\u0430\u043b 9152 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u044b\u0445\u043e\u0434\u0430 \u043e\u043d \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0441\u044f \u0432 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u043e\u043a\u043d\u043e.\u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438 \u043f\u0435\u0440\u0435\u0434 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0435\u0440\u0438\u0435\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0435\u0432\u0430. \u0412\u0440\u0435\u043c\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0432\u0435\u0441\u043e\u0432 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u043e\u0441\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0412 \u0441\u0430\u043c \u0437\u0430\u043c\u0435\u0440 \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u0443\u0436\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.\u041f\u0435\u0440\u0435\u0434 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u043c \u0441 Ollama \u043d\u0430 Magnitude \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u0440\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u0434\u0435\u043b\u0430\u043b\u0430 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0414\u0432\u0438\u0436\u043a\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 RTX 3060, \u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0430 \u043e\u0434\u043d\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f.\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 Magnitude \u0447\u0435\u0440\u0435\u0437 magnitude serve. \u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b Python-\u0441\u043a\u0440\u0438\u043f\u0442. \u041e\u043d \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f API Ollama \u0438 Magnitude \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u043b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435. \u041e\u0442\u0432\u0435\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u043b \u043f\u043e\u0442\u043e\u043a\u043e\u043c: \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u0441\u0435\u0447\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.\u041d\u0438\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0434\u043b\u044f \u0434\u0432\u0443\u0445 API. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430, \u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0435 \u0434\u043b\u044f Ollama \u0438 Magnitude \u043f\u043e\u043b\u044f \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432\u0435\u0442\u043a\u0430\u0445.def payload(engine, config, prompt, max_tokens):    if engine == ‘ollama’:        return config[‘ollama’][‘url’], {            ‘model’: config[‘ollama’][‘model’],            ‘messages’: [{‘role’: ‘user’, ‘content’: prompt}],            ‘think’: False,            ‘stream’: True,            ‘keep_alive’: config[‘ollama’][‘keep_alive’],            ‘options’: {                ‘num_ctx’: config[‘context_tokens’],                ‘num_predict’: max_tokens            }        }    if engine == ‘magnitude’:        return config[‘magnitude’][‘url’], {            ‘model’: config[‘magnitude’][‘model’],            ‘messages’: [{‘role’: ‘user’, ‘content’: prompt}],            ‘temperature’: config[‘temperature’],            ‘top_p’: config[‘top_p’],            ‘max_tokens’: max_tokens,            ‘stream’: True,            ‘cache_prompt’: False,            ‘chat_template_kwargs’: {‘enable_thinking’: False},            ‘stream_options’: {‘include_usage’: True}        }    raise ValueError(engine)\u041a\u0430\u043a \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u043b\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443\u0412\u0441\u0435\u0433\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u0438\u0439, \u043f\u043e \u0434\u0432\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0434\u0435\u0441\u044f\u0442\u0438 \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u0414\u0432\u0438\u0436\u043a\u0443, \u0432 \u043e\u0431\u0449\u0435\u043c-\u0442\u043e, \u0431\u0435\u0437\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e, \u043f\u0440\u043e\u0441\u0438\u043c \u043c\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u0438\u043b\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u0430\u0436\u043d\u044b \u043e\u0431\u044a\u0451\u043c \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432 \u043e\u0442\u0432\u0435\u0442\u0435.\u00a0\u0414\u043b\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u043e\u0442 142 \u0434\u043e 296 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u0431\u044b\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0441\u043f\u0440\u0430\u0432\u043a\u0438, \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f Python-\u043a\u043e\u0434\u0430. \u0412\u0445\u043e\u0434 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0437\u0430\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0433\u043b\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437.\u0421\u0440\u0435\u0434\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438 \u043e\u0442 2143 \u0434\u043e 2394 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0442\u0438\u043a\u0435\u0442\u043e\u0432. \u0413\u0434\u0435-\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043d\u0430\u0439\u0442\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0433\u0434\u0435-\u0442\u043e \u2014 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0438 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443.\u0414\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u043e\u0432 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0430 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u043e\u0442 7451 \u0434\u043e 7765 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u0442\u043e\u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0430 \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0430 \u0434\u0432\u0430 \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0441 \u0432\u0445\u043e\u0434\u043e\u043c \u043d\u0430 8844 \u0438 9152 \u0442\u043e\u043a\u0435\u043d\u0430. \u0412 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u043b\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043a\u043e\u043b\u043e 9000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u042d\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u0442\u044f\u0436\u0451\u043b\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0432 \u043c\u043e\u0435\u0439 \u0441\u0435\u0440\u0438\u0438: \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0445\u043e\u0434 \u0438 \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0445\u043e\u0434.\u041a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430 \u043e\u0431\u043e\u0438\u043c \u0434\u0432\u0438\u0436\u043a\u0430\u043c \u0442\u0440\u0438\u0436\u0434\u044b. \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0440\u0430\u0443\u043d\u0434\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430 \u0441 Ollama, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441 Magnitude, \u0432 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u043e\u043f\u044f\u0442\u044c \u0441 Ollama. \u041f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u0430\u043c\u0438\u0445 \u0437\u0430\u0434\u0430\u043d\u0438\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u0443\u043d\u0434\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u043b\u0441\u044f, \u043d\u043e \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b.\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f schedule(). \u0412 \u043d\u0435\u0439 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043f\u043b\u0430\u043d \u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0430, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043e \u0442\u0440\u0438\u0436\u0434\u044b \u0447\u0435\u0440\u0435\u0437 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a, \u0431\u0435\u0437 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043e\u0432 \u0438 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.import randomREPEATS = 3SEED = 20261021def schedule(tasks):    ids = [t[‘id’] for t in tasks]    planned = []    for repetition in range(1, REPEATS + 1):        rng = random.Random(SEED + repetition)        ordered = ids.copy()        rng.shuffle(ordered)        engines = (‘ollama’, ‘magnitude’) if repetition % 2 \\            else (‘magnitude’, ‘ollama’)        for engine in engines:            for tid in ordered:                planned.append((repetition, engine, tid))    assert len(planned) == 120 and len(set(planned)) == 120    return planned\u0421\u043a\u0440\u0438\u043f\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u041f\u043e\u0437\u0436\u0435 \u044f \u043c\u043e\u0433\u043b\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u043f\u043e\u0432\u0442\u043e\u0440 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0435\u0433\u043e \u0441 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u043c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430. \u0422\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u043b\u0441\u044f \u0430\u0440\u0445\u0438\u0432 \u0441\u043e 120 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438.\u041a\u0430\u043a \u044f \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u0414\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430 \u0441\u043a\u0440\u0438\u043f\u0442 \u043d\u0430 Python. \u041e\u043d \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u043b \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 Ollama \u0438\u043b\u0438 Magnitude \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b \u0432\u0440\u0435\u043c\u044f. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0441\u0435\u043a\u0430\u043b, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u043b\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e.\u041e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f. \u0412\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443, \u0430 \u043c\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u043b \u0435\u0451 \u043f\u043e \u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u0438\u0437 120 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u0430\u043c\u0435\u0440\u0430\u043c\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 GPU.\u0412 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0432\u0441\u0435\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u043e\u0431\u0430 \u0434\u0432\u0438\u0436\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0438\u043b\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u0421\u043a\u0440\u0438\u043f\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u043e\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0432 \u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0423 Ollama \u0432\u0440\u0435\u043c\u044f \u0432 API \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u043d\u0430\u043d\u043e\u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445, \u0443 Magnitude \u2014 \u0432 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445, \u043d\u0443 \u0430 \u043a\u0430\u043a \u0432\u044b \u0445\u043e\u0442\u0435\u043b\u0438, \u043d\u0435 \u0432\u0441\u0451 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e. \u041f\u0435\u0440\u0435\u0434 \u0440\u0430\u0441\u0447\u0435\u0442\u0430\u043c\u0438 \u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043b\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0431\u0435\u0437 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u044f.\u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, Ollama \u0432 \u043e\u0434\u043d\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0441\u043e\u043e\u0431\u0449\u0438\u043b\u0430, \u0447\u0442\u043e \u0432\u044b\u0434\u0430\u043b\u0430 1070 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 14,694 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u042d\u0442\u043e \u043e\u043a\u043e\u043b\u043e 73 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0412 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 Magnitude \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0436\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f…<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-501963","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/501963","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=501963"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/501963\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=501963"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=501963"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=501963"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}