{"id":496099,"date":"2026-09-25T12:59:20","date_gmt":"2026-09-25T12:59:20","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=496099"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=496099","title":{"rendered":"Qwen3.8\u201327B \u043d\u0430\u00a0\u0434\u0432\u0443\u0445 RTX 3060 12\u0413\u0411: \u043a\u0430\u043a\u00a0\u044f \u0440\u0430\u0437\u043e\u0433\u043d\u0430\u043b OpenCode \u0441 ~9\u00a0\u0434\u043e ~40\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043f\u0440\u0438 128K \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0417\u0430\u0434\u0430\u0447\u0430\u00a0\u0431\u044b\u043b\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439: \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u043e\u043c\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0434\u043b\u044f\u00a0coding\u2011agent&#8217;\u043e\u0432 \u0438 \u043f\u043e\u00a0\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u043a\u00a0\u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442\u00a0\u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445\u00a0\u043b\u0438\u043c\u0438\u0442\u043e\u0432. Codex \u0438 Claude Code \u043c\u043d\u0435 \u043d\u0440\u0430\u0432\u044f\u0442\u0441\u044f, \u043d\u043e\u00a0\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0443\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u0430\u00a0\u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0437\u0430\u00a0\u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u0442\u0430\u0440\u0438\u0444\u044b 100\u00a0\u0438\u043b\u0438\u00a0\u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 200\u00a0\u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0432\u00a0\u043c\u0435\u0441\u044f\u0446, \u044f \u043d\u0435\u00a0\u0445\u043e\u0447\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0435\u0445\u0430\u0442\u044c \u043d\u0430\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u0443\u0436\u0435 \u0435\u0441\u0442\u044c.<\/p>\n<p>\u0416\u0435\u043b\u0435\u0437\u043e \u0434\u043b\u044f\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u00a0\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438: Core i7-4790, 32\u00a0\u0413\u0411 DDR3, ASUS Sabertooth Z97\u00a0Mark 2\u00a0\u0438 \u0434\u0432\u0435 RTX 3060\u00a0\u043f\u043e 12\u00a0\u0413\u0411. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e NVLink, CUDA P2P \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 \u0442\u043e\u0436\u0435 \u043d\u0435\u0442. \u0417\u0430\u0442\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0435\u0441\u0442\u044c 24\u00a0\u0413\u0411 VRAM \u0438\u00a0\u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0432\u044b\u0436\u0430\u0442\u044c \u0438\u0437\u00a0\u043d\u0438\u0445 \u0432\u0441\u0435 \u0441\u043e\u043a\u0438.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cac\/d93\/02b\/cacd9302b972fc3d8ba5d9508260e0c1.png\" alt=\"\u0421\u0435\u0440\u0432\u0435\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c: Z97, i7-4790, 32\u0413\u0411 DDR3 \u0438 \u0434\u0432\u0435 RTX 3060 12 \u0413\u0411\" title=\"\u0421\u0435\u0440\u0432\u0435\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c: Z97, i7-4790, 32\u0413\u0411 DDR3 \u0438 \u0434\u0432\u0435 RTX 3060 12 \u0413\u0411\" width=\"2560\" height=\"1920\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cac\/d93\/02b\/cacd9302b972fc3d8ba5d9508260e0c1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cac\/d93\/02b\/cacd9302b972fc3d8ba5d9508260e0c1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0435\u0440\u0432\u0435\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c: Z97, i7-4790, 32\u0413\u0411 DDR3\u00a0\u0438 \u0434\u0432\u0435 RTX 3060 12\u00a0\u0413\u0411<\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u00a0\u043c\u043e\u0435\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0430\u044f \u0441\u0431\u043e\u0440\u043a\u0430\u00a0\u0431\u044b\u043b\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0439: \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c\u00a0\u0436\u0435\u043b\u0435\u0437\u0430 \u0434\u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u043c\u043d\u0435 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e (\u043c\u043e\u0439 \u0441\u0442\u0430\u0440\u044b\u0439 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440), \u0430\u00a0\u0438\u0437\u00a0\u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0445 \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u0430\u0441\u044c \u0432\u0442\u043e\u0440\u0430\u044f RTX 3060 12\u00a0\u0413\u0411 \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0441\u00a0\u0448\u0443\u043c\u043e\u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b \u043d\u0435 \u00ab\u043d\u043e\u0432\u044b\u0439 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0438\u00bb, \u0430\u00a0\u0440\u0430\u0437\u043e\u0432\u0443\u044e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0443\u0436\u0435 \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u041f\u041a \u0441\u00a0\u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u044b\u043c\u0438 \u043f\u043b\u0430\u0442\u0435\u0436\u0430\u043c\u0438 \u0437\u0430\u00a0\u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0435\u00a0\u043b\u0438\u043c\u0438\u0442\u044b.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u044f \u043d\u0435\u00a0\u0441\u0442\u0430\u0432\u043b\u044e \u0437\u043d\u0430\u043a \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u043c\u0435\u0436\u0434\u0443 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 Qwen \u0438 Codex \u0438\u043b\u0438\u00a0Claude Code. \u0423\u00a0\u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u043a \u0432\u044b\u0448\u0435 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0430\u00a0\u0441\u0430\u043c\u044b\u0445 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u041d\u043e\u00a0\u0434\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043c\u043e\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 27B\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0441\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u0430\u043f\u0430\u0441\u043e\u043c.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043e\u0447\u0435\u043d\u044c \u0432\u0435\u0441\u043e\u043c\u044b\u0439 \u043f\u043b\u044e\u0441: \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c. \u0421\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438, \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u043c\u0443 LLM\u2011\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0443. \u042d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u0434\u043b\u044f\u00a0\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043a\u043e\u0434\u0430, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439, \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043b\u043e\u0433\u043e\u0432 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0442\u0430\u043a\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0441\u0430\u043c\u0430 \u043e\u0431\u0432\u044f\u0437\u043a\u0430 OpenCode, \u043f\u043b\u0430\u0433\u0438\u043d\u044b \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0442\u043e\u0436\u0435 \u043d\u0435\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0440\u0443\u0436\u0443.<\/p>\n<p><strong>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u00a0\u0431\u044b\u043b\u0430 \u043d\u0435\u00a0\u0441\u0430\u043c\u043e\u0446\u0435\u043b\u044c\u044e. <\/strong>\u042f \u043d\u0435\u00a0\u0445\u043e\u0442\u0435\u043b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0446\u0435\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043d\u0430\u00a0\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0443\u044e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0438\u043b\u0438\u00a0\u043e\u0431\u0440\u0435\u0437\u043a\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0426\u0435\u043b\u044c\u00a0\u0431\u044b\u043b\u0430 \u0440\u043e\u0432\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439: \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e 27B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043d\u043e\u00a0\u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0434\u0432\u0435 3060\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e.<\/p>\n<p>\u041d\u0430\u00a0\u0441\u0442\u0430\u0440\u0442\u0435 Qwen3.8\u201327B Q4\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430, \u043d\u043e\u00a0\u043d\u0430\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u043f\u0443\u0441\u043a\u0430\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 9\u201310\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041f\u043e\u0441\u043b\u0435 \u0441\u0435\u0440\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u00a0\u0442\u0435\u0445\u00a0\u0436\u0435 \u0434\u0432\u0443\u0445 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u0445 \u0432\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0441 ~120K \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 28.16\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0430\u00a0\u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 OpenCode\u00a0\u2014 39.6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u043c \u043b\u043e\u0433\u0430\u043c. \u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e: \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f, \u0430\u00a0\u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u0435\u0439\u00a0\u0431\u044b\u043b\u043e \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c.<\/p>\n<h2>1. \u0421\u0430\u043c \u043f\u043e\u0434\u043e\u043f\u044b\u0442\u043d\u044b\u0439<\/h2>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\"><strong>\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">CPU<\/p>\n<\/td>\n<td>\n<p align=\"left\">Intel Core i7-4790<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">\u041c\u0430\u0442\u0435\u0440\u0438\u043d\u0441\u043a\u0430\u044f \u043f\u043b\u0430\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">ASUS Sabertooth Z97\u00a0Mark 2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">RAM<\/p>\n<\/td>\n<td>\n<p align=\"left\">32\u00a0\u0413\u0411 DDR3 1600MHz<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">GPU<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\u00a0\u00d7 NVIDIA GeForce RTX 3060 12\u00a0\u0413\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">\u0421\u0432\u044f\u0437\u044c GPU<\/p>\n<\/td>\n<td>\n<p align=\"left\">PHB, CUDA P2P read\/write \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">\u041f\u041e<\/p>\n<\/td>\n<td>\n<p align=\"left\">Ubuntu, llama.cpp, Docker, CUDA<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">llama.cpp<\/p>\n<\/td>\n<td>\n<p align=\"left\">build 10991, commit 930e2fa59, Docker tag server\u2011cuda13-b10991<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"370\" width=\"370\">\n<p align=\"left\">\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">OpenCode \/ \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 coding\u2011agent<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u0440\u0430\u0437\u0443 \u0432\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0435\u00a0\u043f\u0440\u043e\u00a0\u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u0412\u0441\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u00a0llama.cpp. \u042d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0431\u043e\u0440 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u0430\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0441\u0442\u0430\u0440\u043e\u043c \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435, \u0430\u00a0\u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u00a0\u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n<h2>2. \u0421\u00a0\u0447\u0435\u0433\u043e \u044f \u043d\u0430\u0447\u0430\u043b<\/h2>\n<p>\u0412\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u044f \u0432\u0437\u044f\u043b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043a\u043e\u043d\u0444\u0438\u0433: \u043e\u0431\u044b\u0447\u043d\u044b\u0439 Qwen3.8\u201327B Q4_K_M \u043e\u0442\u00a0ggml\u2011org, \u043f\u043e\u043b\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 131\u00a0072\u00a0\u0442\u043e\u043a\u0435\u043d\u0430, Flash Attention, Q4\u00a0KV\u2011cache \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u0441\u043b\u043e\u044f\u043c \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f GPU. \u042d\u0442\u043e\u00a0\u0431\u044b\u043b\u0430 \u043d\u0435\u00a0\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0430\u00a0\u043c\u043e\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u043e\u043d \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0441\u044f \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u044c, \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0441\u044f \u0438 \u0443\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0435\u0439 \u0447\u0435\u0440\u0435\u0437 OpenCode.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430. \u041f\u043e\u0434\u00a0\u043a\u043e\u043d\u0435\u0446 \u0431\u0443\u0434\u0435\u0442 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c. \u041f\u0443\u0442\u044c \u043a\u00a0GGUF, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0442\u043e\u0433\u043e, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u041f\u041a \u0438\u043b\u0438\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u0435.<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 Q4_K_M \u0438 128K? \u041c\u043d\u0435 \u043d\u0443\u0436\u0435\u043d\u00a0\u0431\u044b\u043b \u043d\u0435\u00a0\u0440\u0435\u043a\u043e\u0440\u0434 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430, \u0430\u00a0\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0440\u0443\u043f\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f\u00a0\u043a\u043e\u0434\u0430 \u0441\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u0438 \u043f\u0430\u0440\u043e\u0447\u043a\u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043b\u043e\u0433\u043e\u0432. Coding\u2011agent\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0438\u0441\u043a\u0430, \u0432\u044b\u0432\u043e\u0434 \u0442\u0435\u0441\u0442\u043e\u0432 \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0436\u0438\u043c \u043d\u0430 16K \u0438\u043b\u0438 32K \u043c\u0435\u043d\u044f \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u00a0\u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b.<\/p>\n<pre><code class=\"bash\">docker run --rm --gpus all \\ \u00a0 -p 8080:8080 \\ \u00a0 -v \"$HOME\/models:\/models:ro\" \\ \u00a0 ghcr.io\/ggml-org\/llama.cpp:server-cuda13-b10991 \\ \u00a0 -m \/models\/Qwen3.8-27B-Q4_K_M.gguf \\ \u00a0 -sm layer \\ \u00a0 --fit on \\ \u00a0 --fit-target 512 \\ \u00a0 -c 131072 \\ \u00a0 -np 1 \\ \u00a0 -fa on \\ \u00a0 -ctk q4_0 \\ \u00a0 -ctv q4_0 \\ \u00a0 --host 0.0.0.0 \\ \u00a0 --port 8080<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0434\u0430\u0432\u0430\u043b 16.6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0447\u0442\u043e\u00a0\u0432\u00a0\u0446\u0435\u043b\u043e\u043c\u00a0\u0431\u044b\u043b\u043e \u0442\u0435\u0440\u043f\u0438\u043c\u043e. \u041d\u043e\u00a0\u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c: \u043d\u0430 ~65K \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c 11.35\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0430\u00a0\u043d\u0430 ~120K\u00a0\u2014 8.89. \u0412\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u0430\u0433\u0435\u043d\u0442\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0441\u00a0\u0443\u0436\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u043c ~100K \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 9.63\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 9\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0432\u00a0\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435\u00a0\u2014 \u0432\u0437\u044f\u0442\u043e \u043d\u0435\u00a0\u0441\u00a0\u043f\u043e\u0442\u043e\u043b\u043a\u0430, \u0430\u00a0\u0432\u043f\u043e\u043b\u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u0430\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u043b\u043e, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435\u00a0\u0431\u044b\u043b\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439, \u043d\u043e\u00a0\u0431\u044b\u043b\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u0442\u0430\u043c, \u0433\u0434\u0435 \u043c\u043d\u0435 \u043d\u0443\u0436\u0435\u043d\u00a0\u0431\u044b\u043b \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442: \u043f\u043e\u0441\u043b\u0435 \u0447\u0442\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u043b\u044c\u0448\u0435 \u044f \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u0439 \u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0440\u043e\u0442\u043a\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e, \u043d\u043e\u00a0\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0435 65K-120K.<\/p>\n<blockquote>\n<p>\u0417\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0434 \u00ab65K\/120K\u00bb \u044f \u0438\u043c\u0435\u044e \u0432\u00a0\u0432\u0438\u0434\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0430\u00a0\u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <code>-c<\/code> \u043f\u0440\u0438\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e: \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c \u0441 128K KV\u2011cache, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u0443\u043f\u0430\u0441\u0442\u044c \u0441\u00a0CUDA OOM (out of memory) \u043f\u0440\u0438\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 (prefill).<\/p>\n<\/blockquote>\n<h2>3. \u0421\u043c\u0435\u043d\u0430 layer \u043d\u0430\u00a0tensor<\/h2>\n<p>\u041f\u0435\u0440\u0432\u044b\u043c \u0434\u0435\u043b\u043e\u043c \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b. \u0418 \u0441\u0430\u043c\u044b\u043c \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u0441\u043b\u043e\u044f\u043c \u043a\u00a0\u0442\u0435\u043d\u0437\u043e\u0440\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u044e:<\/p>\n<p><code>-sm layer<br \/><\/code> <br \/> \u0437\u0430\u043c\u0435\u043d\u0438\u043b \u043d\u0430<\/p>\n<p><code>-sm tensor<\/code><\/p>\n<p>\u0412\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 layer \u0440\u0430\u0437\u043d\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u0441\u043b\u043e\u0451\u0432 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 GPU, \u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0445. \u0412\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 tensor \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043a\u0430\u0440\u0442\u0430\u043c\u0438, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f. \u0412\u00a0\u043c\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u043d\u0435\u00a0\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430 \u0434\u043b\u044f\u00a0multi\u2011GPU: \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 PHB\u2011\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u044f \u0438 \u043d\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u0433\u043e CUDA P2P, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u0441\u0430\u043c\u0438 GPU \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 PCIe 8x. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u044d\u0442\u043e, \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0432\u0443\u0445 GPU \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u0441\u043b\u043e\u044f\u043c.<\/p>\n<p>\u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0tensor split \u043d\u0430\u00a0\u0441\u0442\u0430\u0440\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u0431\u0435\u0437\u00a0CUDA P2P \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e: \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0431\u043c\u0435\u043d\u0430 \u043c\u0435\u0436\u0434\u0443 GPU. \u041d\u043e\u00a0\u043f\u0440\u0438\u00a0autoregressive decode \u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044a\u0451\u043c \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u0430\u0435\u043c\u044b\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0432\u0435\u043b\u0438\u043a \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u044a\u0451\u043c\u0430 \u0432\u0435\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043e\u0442\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0432\u0443\u0445 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c VRAM \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432 \u043c\u0435\u0436\u2011GPU \u043e\u0431\u043c\u0435\u043d\u0430\u00a0\u2014 decode \u043f\u043e\u0447\u0442\u0438 \u0443\u0434\u0432\u043e\u0438\u043b\u0441\u044f \u0443\u0436\u0435 \u043e\u0434\u043d\u0438\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u043c \u0441\u00a0layer \u043d\u0430\u00a0tensor. \u042d\u0442\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043a\u00a0\u043c\u043e\u0435\u0439 Z97\/2\u00d7RTX 3060\/PHB\u2011\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438, \u0430\u00a0\u043d\u0435\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435\u043c \u0434\u043b\u044f\u00a0\u043b\u044e\u0431\u043e\u0433\u043e PCIe\u2011\u0441\u0435\u0440\u0432\u0435\u0440\u0430.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u044f \u0435\u0449\u0451 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u043b \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u0435\u0441\u043e\u0432 \u0438 KV\u2011cache. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u043e\u0442 \u0448\u0430\u0433 \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u0437\u043e\u043b\u0438\u0440\u0443\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0440\u0435\u0436\u0438\u043c\u0430 multi\u2011GPU: \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043b\u0438\u00a0\u043f\u043e\u0436\u0435\u0440\u0442\u0432\u043e\u0432\u0430\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0430\u00a0\u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0442\u0435\u00a0\u0436\u0435 \u0434\u0432\u0435 RTX 3060\u00a0\u0441\u0442\u0430\u043b\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0431\u0435\u0437\u00a0MTP \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 16.6\u00a0\u0434\u043e 29.5\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0441\u044f: \u0441 11.35\u00a0\u0434\u043e 20.27\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043d\u0430 ~65K \u0438 \u0441 8.89\u00a0\u0434\u043e 16.09\u00a0\u043d\u0430 ~120K. \u0422\u043e \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u0441\u043c\u0435\u043d\u0430 layer \u043d\u0430\u00a0tensor \u0434\u0430\u043b\u0430 \u043f\u043e\u0447\u0442\u0438 x2\u00a0\u043d\u0430 120K. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0441\u0442\u0430\u043b\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u043d\u044e\u0430\u043d\u0441\u0443 \u044f \u0435\u0449\u0451 \u0432\u0435\u0440\u043d\u0443\u0441\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 prefill \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442\u00a0\u2014 \u044d\u0442\u043e quantized KV \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 <code>-sm tensor<\/code>. \u041d\u0430\u00a0\u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/blob\/master\/docs\/multi-gpu.md\" rel=\"noopener nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f llama.cpp<\/a> \u0432\u0441\u0451 \u0435\u0449\u0451 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u043b\u0430, \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0tensor split KV\u2011cache \u0434\u043e\u043b\u0436\u0435\u043d\u00a0\u0431\u044b\u0442\u044c f32\/f16\/bf16\u00a0\u0438 \u0447\u0442\u043e\u00a0quantized KV \u043d\u0435\u00a0\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u044d\u0442\u043e, \u0432\u0441\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430\u00a0\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c llama.cpp b10991\u00a0(commit 930e2fa59), \u0438 \u043d\u0430\u00a0\u044d\u0442\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 tensor + q8_0\/q8_0\u00a0\u043d\u0430\u00a0\u043c\u043e\u0451\u043c CUDA\u2011\u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0436\u0438\u043b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0435 ~120K \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u043e\u043c\u0435\u0440 build \u0437\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u0438\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0430\u0441\u0442\u044c\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438: \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<h2>4. Speculative decoding \u0438 MTP<\/h2>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f\u00a0\u2014 speculative decoding \u0447\u0435\u0440\u0435\u0437 MTP (Multi Token Prediction). \u0415\u0441\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c, MTP \u0441\u0442\u0440\u043e\u0438\u0442 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430\u00a0\u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f Qwen \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437. \u041f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435, \u0447\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0437\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e: MTP \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0430 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u00ab\u0434\u043e\u043f\u0438\u0441\u0430\u0442\u044c\u00bb \u043e\u0442\u0432\u0435\u0442 \u043c\u0438\u043c\u043e \u043d\u0435\u0451.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0437\u0434\u0435\u0441\u044c\u00a0\u2014 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430, <code>--spec-draft-n-max<\/code>. \u0427\u0435\u043c \u043e\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 MTP \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432\u043f\u0435\u0440\u0451\u0434. \u042d\u0442\u043e \u043d\u0435\u00a0\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435: \u0435\u0441\u043b\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0447\u0430\u0441\u0442\u043e \u0431\u0440\u0430\u043a\u0443\u044e\u0442\u0441\u044f, GPU \u0442\u0440\u0430\u0442\u0438\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0442\u043e\u043c \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u043e\u043c\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u044f \u0441\u0442\u0430\u043b \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u0447\u0438\u0441\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043d\u0430\u00a0\u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0434\u043b\u0438\u043d\u0443 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u044f\u0442\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0438.<\/p>\n<p>\u0421\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c MTP GGUF \u043d\u0430\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u043a\u0430\u043a\u00a0\u043c\u0430\u0433\u0438\u044f: \u043e\u043a\u043e\u043b\u043e 60\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043f\u0440\u0438 <code>n-max=2<\/code>, 64\u00a0\u043f\u0440\u0438 <code>n=3<\/code> \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 66\u00a0\u043f\u0440\u0438 <code>n=4<\/code>. \u041d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435 <code>n=4<\/code>\u00a0\u0431\u044b\u043b \u043b\u0443\u0447\u0448\u0438\u043c. \u041d\u043e\u00a0\u0443\u00a0\u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e MTP \u0435\u0441\u0442\u044c \u0446\u0435\u043d\u0430 \u043f\u043e\u00a0\u043f\u0430\u043c\u044f\u0442\u0438: \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u0431\u0443\u0444\u0435\u0440\u0430\u043c\u0438. \u0412\u00a0\u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0438 \u0441\u00a0tensor split \u0438 \u043f\u043e\u043b\u043d\u044b\u043c\u0438 128K, \u043a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043f\u0430\u043c\u044f\u0442\u044c \u0441\u0442\u0430\u043b\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c.<\/p>\n<h2>5. \u0411\u043e\u0440\u044c\u0431\u0430 \u0437\u0430\u00a0VRAM<\/h2>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0441\u0430\u043c\u0430\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u042f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0443\u0431\u0435\u0434\u0438\u043b\u0441\u044f, \u0447\u0442\u043e \u00abllama\u2011server \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0441\u044f \u0441 <code>-c 131072<\/code>\u00bb \u0438 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0436\u0438\u043b\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 120K\u00bb\u00a0\u2014 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f. \u041f\u0440\u0438\u00a0\u0441\u0442\u0430\u0440\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c KV\u2011cache, \u043d\u043e\u00a0\u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e prefill \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u0431\u0443\u0444\u0435\u0440\u044b, \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0430 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0432 <code>nvidia-smi<\/code>, \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f CUDA OOM.<\/p>\n<p>\u0422\u0430\u043a \u0438 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0441\u00a0tensor + Q8\u00a0KV \u0431\u0435\u0437\u00a0MTP: \u0441\u0435\u0440\u0432\u0435\u0440 \u0441 128K \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u043b \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044e \u043f\u0430\u043c\u044f\u0442\u044c, \u043d\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 prefill \u0443\u0436\u0435 \u043d\u0435\u00a0\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u0430\u043f\u0430\u0441\u0430. \u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u043d\u0430\u00a0Q4\u00a0KV \u043e\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u043b \u043d\u0443\u0436\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c, \u0438 128K \u0441\u0442\u0430\u043b\u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c: \u0431\u0435\u0437\u00a0MTP \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b 20.29\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043d\u0430 ~65K \u0438 16.10\u00a0\u043d\u0430 ~120K. \u0421\u00a0\u044d\u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 <code>-c<\/code> \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0443\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0441\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e MTP \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0438\u0441\u043a\u0430\u0442\u044c \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u0443\u0436\u0435 \u043f\u043e\u00a0\u0441\u0430\u043c\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. 112K \u0432\u0441\u0451 \u0435\u0449\u0451 \u043f\u0430\u0434\u0430\u043b\u0438 \u043f\u0440\u0438\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0435, \u0430 96K \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0438\u0441\u044c. \u0412\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 tensor + Q4\u00a0KV + \u0432\u043d\u0435\u0448\u043d\u0438\u0439 MTP \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043e\u043a\u043e\u043b\u043e 61\u201362\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438 21.54\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043d\u0430 90K. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u0443 <code>n=4<\/code> \u043d\u0430 90K \u0443\u043f\u0430\u043b\u043e \u0434\u043e 25%, \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0443\u0436\u0435 \u0442\u0440\u0430\u0442\u0438\u043b\u0430\u0441\u044c \u0432\u043f\u0443\u0441\u0442\u0443\u044e. \u0420\u0435\u0436\u0438\u043c\u00a0\u0431\u044b\u043b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u043c, \u043d\u043e\u00a0\u043c\u043d\u0435 \u043d\u0435\u00a0\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0446\u0435\u043d\u0430: \u0440\u0430\u0434\u0438 MTP \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043e\u0442\u0434\u0430\u0442\u044c \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043b\u044f\u00a0\u0430\u0433\u0435\u043d\u0442\u0430\u00a0\u0431\u044b\u043b \u043e\u0434\u043d\u043e\u0439 \u0438\u0437\u00a0\u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0446\u0435\u043b\u0435\u0439.<\/p>\n<h2>6. \u0427\u0442\u043e\u00a0\u043d\u0435\u00a0\u043f\u043e\u043c\u043e\u0433\u043b\u043e: NCCL \u0438 shared buffers<\/h2>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u043e\u0439\u00a0\u0431\u044b\u043b NCCL: \u0440\u0430\u0437 \u0443\u00a0\u043c\u0435\u043d\u044f \u0434\u0432\u0435 NVIDIA GPU, \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439. \u042f \u0441\u043e\u0431\u0440\u0430\u043b \u0442\u0443\u00a0\u0436\u0435 \u0432\u0435\u0440\u0441\u0438\u044e llama.cpp \u0441\u00a0NCCL, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \/dev\/shm \u0432\u00a0Docker, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0440\u0435\u0436\u0438\u043c \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b. \u041d\u043e\u00a0\u043d\u0430\u00a0\u043c\u043e\u0451\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0447\u0443\u0434\u0430 \u043d\u0435\u00a0\u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e: \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0434\u0430\u0432\u0430\u043b 66.3\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0430\u00a0NCCL\u00a0\u2014 61.6, \u0442\u043e \u0435\u0441\u0442\u044c\u00a0\u0431\u044b\u043b \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0433\u0434\u0435\u2011\u0442\u043e \u043d\u0430 7%.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e: GPU \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0447\u0435\u0440\u0435\u0437 PHB, \u043f\u0440\u044f\u043c\u043e\u0439 CUDA P2P \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d, \u0438 NCCL \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u043d\u0435\u0435 \u0432\u044b\u0433\u043e\u0434\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043e\u0431\u043c\u0435\u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u00ab\u0431\u043e\u043b\u0435\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u00bb \u043d\u0435\u00a0\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u00ab\u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00bb\u00a0\u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u043a\u0430\u0440\u0442.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u044f \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u043f\u043e\u0439\u0442\u0438 \u0434\u0440\u0443\u0433\u0438\u043c \u043f\u0443\u0442\u0435\u043c \u0438 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u044c \u043d\u0435\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u0430\u00a0\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u044b\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0431\u0443\u0444\u0435\u0440\u043e\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e MTP. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0431\u0440\u0430\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0443\u044e \u0432\u0435\u0442\u043a\u0443 QVAC, \u0441\u043d\u044f\u043b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0449\u0438\u0442\u043d\u044b\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043b \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0443 \u043f\u0440\u044f\u043c\u043e \u0432\u00a0scheduler. \u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043d\u0435\u0443\u0442\u0435\u0448\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u043f\u0440\u0438\u00a0tensor split \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 MTP \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 Meta backend\/device objects\u00a0\u2014 <code>same_buft=0<\/code> \u0438 <code>same_dev=0<\/code>.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u043d\u043e\u00a0\u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u00a0\u0431\u044b\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 llama.cpp \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u043b\u043e\u0441\u044c \u0432\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u044c\u044e ggml. \u042f \u0440\u0435\u0448\u0438\u043b \u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u0432\u0435\u0434\u044c \u0446\u0435\u043b\u044c\u00a0\u0431\u044b\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0435\u0440\u0432\u0435\u0440, \u0430\u00a0\u043d\u0435\u00a0\u0434\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u0446\u0435\u043d\u043e\u0439, \u0447\u0442\u043e\u00a0\u043e\u0434\u0438\u043d \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 MTP \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0445\u043d\u0443\u0442\u044c \u0432\u00a0\u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0441\u043e\u0442\u043d\u0438 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442. \u041d\u0443 \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u043e\u0436\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u00a0\u2014 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0433\u0434\u0435 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 backend\u2011\u0430.<\/p>\n<h2>7. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 GGUF: Unsloth \u0441\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c MTP<\/h2>\n<p>\u041f\u043e\u0432\u043e\u0440\u043e\u0442\u043d\u044b\u043c \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f Unsloth Qwen3.8\u201327B\u2011UD\u2011Q4_K_M. \u0412\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0\u043c\u043e\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u00ab\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 GGUF + \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 MTP GGUF\u00bb, \u0437\u0434\u0435\u0441\u044c MTP\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0444\u0430\u0439\u043b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 llama.cpp \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0442\u044c MTP\u2011\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0431\u0435\u0437\u00a0\u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0435\u0433\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432.<\/p>\n<p>\u042d\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0432\u0430\u0436\u043d\u0435\u0435 \u043b\u044e\u0431\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0432\u044b\u0436\u0430\u0442\u044c \u0435\u0449\u0451 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442 \u0438\u0437\u00a0\u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e MTP. \u042f \u0432\u0435\u0440\u043d\u0443\u043b\u0441\u044f \u043d\u0430\u00a0\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 Docker\u2011\u043e\u0431\u0440\u0430\u0437 llama.cpp, \u0432\u043a\u043b\u044e\u0447\u0438\u043b tensor split, \u043f\u043e\u043b\u043d\u044b\u0439 128K \u0438 \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0439 Q8\u00a0KV\u2011cache. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b\u0430, \u043d\u043e\u00a0\u0438 \u0432\u044b\u0434\u0435\u0440\u0436\u0430\u043b\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 65K \u0438 120K \u0437\u0430\u043f\u0440\u043e\u0441\u044b.<\/p>\n<p>\u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u0432\u00a0\u0434\u0432\u0435 12\u00a0\u0433\u0438\u0433\u043e\u0432\u044b\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u043b\u0435\u0437\u043b\u0438 \u043f\u043e\u043b\u043d\u044b\u0435 128K \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, tensor split, Q8\u00a0KV\u2011cache \u0438 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 self\u2011MTP. \u0412\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0441\u0435\u0440\u0432\u0435\u0440 \u0437\u0430\u043d\u0438\u043c\u0430\u043b 11.3\u201311.4\u00a0\u0413\u0411 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u0443\u044e RTX 3060, \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u0430\u043f\u0430\u0441 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0441\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c, \u043d\u043e\u00a0\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b. \u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u044d\u0442\u043e\u00a0\u0431\u044b\u043b\u0430 \u0437\u043e\u043b\u043e\u0442\u0430\u044f \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0438\u0441\u043a\u0430\u043b: \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u00a0\u0443\u0440\u0435\u0437\u0430\u043d, KV \u0441\u0442\u0430\u043b \u0442\u043e\u0447\u043d\u0435\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e Q4\u00a0(\u043a \u043c\u043e\u0435\u043c\u0443 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u044e), \u0430\u00a0\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e\u00a0\u0431\u044b\u043b\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c MTP \u0431\u0435\u0437\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 draft\u2011\u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0423\u00a0MTP + multi\u2011GPU \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0435\u0441\u0442\u044c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u0412\u00a0issue tracker llama.cpp \u0435\u0441\u0442\u044c <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/issues\/28252\" rel=\"noopener nofollow\">\u043e\u0442\u0447\u0451\u0442\u044b \u043e\u00a0hard\u2011lock<\/a> \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e prefill (100K+) \u0441\u00a0MTP \u0438 tensor split, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043e\u00a0\u0437\u0430\u043c\u0435\u0442\u043d\u043e\u043c \u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 (prompt processing) \u043f\u0440\u0438\u00a0MTP \u043d\u0430\u00a0multi\u2011GPU layer split. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c b10991\u00a0\u044d\u0442\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0435\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438\u0441\u044c: \u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 <code>-c 131072<\/code>, \u043d\u043e\u00a0\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 (filled context) \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e ~120K. \u042d\u0442\u043e \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u0441\u0438\u044e \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0439 prefill \u043d\u0430\u00a0\u0441\u0432\u043e\u0451\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435, \u0430\u00a0\u043d\u0435\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c llama \u0441\u0435\u0440\u0432\u0435\u0440\u0430.<\/p>\n<h2>8. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 benchmark: \u043f\u044f\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u044f \u0437\u0430\u043d\u043e\u0432\u043e \u0441\u043e\u0431\u0440\u0430\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0442\u0435\u0441\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u00a0\u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u0441\u043a\u0440\u0438\u043d\u0448\u043e\u0442\u044b \u0438\u0437\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432. \u0414\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0442\u0435\u00a0\u0436\u0435 build llama.cpp b10991\u00a0\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u043a\u0440\u0438\u043f\u0442, 65\u202f536\u00a0\u0438 120\u202f000\u00a0\u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 512\u00a0\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043f\u043e\u00a0\u0442\u0440\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u043e\u0447\u043a\u0438. \u0420\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c. \u0412\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u0432\u00a0\u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u00a0\u043c\u043e\u0435\u043c\u0443 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c\u0443 \u043e\u0431\u0440\u0430\u0437\u0446\u0443: Z97\u00a0+ 2\u00d7RTX 3060 12\u00a0\u0413\u0411, PHB \u0438 \u0431\u0435\u0437\u00a0CUDA P2P.<\/p>\n<p>\u041f\u044f\u0442\u044c \u0441\u0442\u0443\u043f\u0435\u043d\u0435\u0439 \u0432\u044b\u0431\u0440\u0430\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e. <strong>A<\/strong>\u00a0\u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 layer\/Q4. <strong>B<\/strong> \u043c\u0435\u043d\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u043e\u0441\u043e\u0431 multi\u2011GPU \u043d\u0430\u00a0tensor. <strong>C<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 Unsloth \u0438 Q8\u00a0KV \u0431\u0435\u0437\u00a0MTP. <strong>D<\/strong> \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 MTP \u0441\u00a0\u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 <code>n=3<\/code>. <strong>E<\/strong> \u043c\u0435\u043d\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u043d\u0430 <code>n=1<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u00a0\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u0432\u0438\u0434\u043d\u043e \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0446\u0438\u0444\u0440\u0443, \u043d\u043e\u00a0\u0438 \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u0440\u0443\u043f\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>~65K, \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>~120K, \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">A\u00a0\u2014 ggml\u2011org, layer, Q4\u00a0KV, \u0431\u0435\u0437\u00a0MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">11.35<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.89<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">B\u00a0\u2014 ggml\u2011org, tensor, Q4\u00a0KV, \u0431\u0435\u0437\u00a0MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">20.27<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.09<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">C\u00a0\u2014 Unsloth, tensor, Q8\u00a0KV, \u0431\u0435\u0437\u00a0MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.07<\/p>\n<\/td>\n<td>\n<p align=\"left\">18.37<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">D\u00a0\u2014 Unsloth, tensor, Q8\u00a0KV, MTP n=3<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.74<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.83<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">E\u00a0\u2014 Unsloth, tensor, Q8\u00a0KV, MTP n=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">35.46<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.16<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9e1\/cf1\/fcd\/9e1cf1fcdfd719b3a7dc7ee4d8c6fbc5.png\" alt=\" \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e long-context benchmark\" title=\" \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e long-context benchmark\" width=\"978\" height=\"514\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9e1\/cf1\/fcd\/9e1cf1fcdfd719b3a7dc7ee4d8c6fbc5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9e1\/cf1\/fcd\/9e1cf1fcdfd719b3a7dc7ee4d8c6fbc5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e long\u2011context benchmark<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 ~120K \u043f\u0443\u0442\u044c \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0442\u0430\u043a: 8.89\u00a0\u2192 16.09\u00a0\u2192 18.37\u00a0\u2192 22.83\u00a0\u2192 28.16\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u0422\u043e \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u0438\u043d\u043d\u043e\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0443\u0441\u043a\u043e\u0440\u0438\u043b\u0430\u0441\u044c \u0432 3.17\u00a0\u0440\u0430\u0437\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0435\u0436\u0438\u043c\u0430. \u041d\u0430 ~65K \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a\u0430\u044f\u00a0\u0436\u0435: 11.35\u00a0\u2192 35.46\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0432 3.12\u00a0\u0440\u0430\u0437\u0430.<\/p>\n<p>\u042d\u0442\u0438 \u0442\u0435\u0441\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043a\u0430\u043a\u00a0\u0432\u00a0\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u043d\u0435\u00a0\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u041e\u043d\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442 \u0434\u043b\u0438\u043d\u0443 \u0432\u0445\u043e\u0434\u0430 \u0438 \u0447\u0438\u0441\u043b\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0430\u0433\u0435\u043d\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0440\u0430\u0437\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0447\u0430\u0441\u0442\u044c \u0443\u0436\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0441\u044f \u043e\u0434\u0438\u043d \u043c\u043e\u043c\u0435\u043d\u0442, tensor \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e, \u043d\u043e\u00a0\u043f\u0435\u0440\u0432\u0438\u0447\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043d\u043e\u0432\u043e\u0433\u043e \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0430 (prefill) \u043d\u0430\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0441\u0442\u0430\u043b\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. Decode \u0438 prefill \u043d\u0430\u0433\u0440\u0443\u0436\u0430\u044e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u041f\u0440\u0438\u00a0\u0442\u043e\u043a\u0435\u043d\u2011\u0437\u0430\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0440\u043e\u043b\u044c \u0438\u0433\u0440\u0430\u0435\u0442 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0438\u0437\u00a0VRAM, \u0438 tensor split \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043e\u0431\u0435 \u043a\u0430\u0440\u0442\u044b \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u041f\u0440\u0438\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u043c prefill \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043a\u0440\u0443\u043f\u043d\u0435\u0435, \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u043e\u0431\u044a\u0451\u043c \u043c\u0435\u0436\u2011GPU \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u0438 \u043e\u0431\u043c\u0435\u043d\u043e\u0432. \u041d\u0430\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0431\u0435\u0437\u00a0P2P \u044d\u0442\u043e \u043f\u0440\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u044f\u043c\u043e \u0432\u00a0\u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445: decode \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u043b\u0441\u044f, \u0430\u00a0\u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 prefill \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 layer split. \u0414\u043b\u044f\u00a0\u043e\u0434\u043d\u043e\u0440\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043d\u0430\u00a0\u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u043e\u043c \u043d\u043e\u0432\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u044a\u0435\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u0442\u0430 \u043f\u043e\u00a0\u043e\u0431\u0449\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0435. \u041d\u043e\u00a0\u0434\u043b\u044f\u00a0coding\u2011agent \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0434\u0440\u0443\u0433\u0430\u044f: \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430\u00a0\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0436\u0438\u0432\u0451\u0442 \u043c\u043d\u043e\u0433\u043e \u0445\u043e\u0434\u043e\u0432, \u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0439 KV\u2011cache.<\/p>\n<h2>9. \u041f\u043e\u0447\u0435\u043c\u0443 n\u2011max=1\u00a0\u0432\u044b\u0438\u0433\u0440\u0430\u043b \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443, \u043d\u043e\u00a0\u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b OpenCode<\/h2>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u044f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0441\u0435\u0440\u0438\u044e \u0442\u0435\u0441\u0442\u043e\u0432 (sweep) \u0433\u043b\u0443\u0431\u0438\u043d\u044b MTP \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c\u00a0\u0436\u0435 ~65K \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435. \u0414\u043b\u044f\u00a0n=1, 2, 3\u00a0\u0438 4\u00a0\u0431\u044b\u043b\u043e \u043f\u043e\u00a0\u0442\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u043d\u043e\u00a0\u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u043b\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 VRAM \u0441\u0442\u043e\u0438\u043b\u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0443\u043f\u0435\u043d\u044c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\"><strong>n\u2011max<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\"><strong>Decode, \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"129\" width=\"129\">\n<p align=\"left\"><strong>\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043e (Draft)<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"122\" width=\"122\">\n<p align=\"left\"><strong>\u041f\u0440\u0438\u043d\u044f\u0442\u043e (Accepted)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041f\u0440\u0438\u043d\u044f\u0442\u043e \u0432%<\/strong><br \/><strong>(Acceptance)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Peak VRAM \/ GPU<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">35.50<\/p>\n<\/td>\n<td data-colwidth=\"129\" width=\"129\">\n<p align=\"left\">255<\/p>\n<\/td>\n<td data-colwidth=\"122\" width=\"122\">\n<p align=\"left\">255<\/p>\n<\/td>\n<td>\n<p align=\"left\">100<\/p>\n<\/td>\n<td>\n<p align=\"left\">11\u202f317\u00a0MiB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\">2<\/p>\n<\/td>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">31.80<\/p>\n<\/td>\n<td data-colwidth=\"129\" width=\"129\">\n<p align=\"left\">510<\/p>\n<\/td>\n<td data-colwidth=\"122\" width=\"122\">\n<p align=\"left\">255<\/p>\n<\/td>\n<td>\n<p align=\"left\">50.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">11\u202f395\u00a0MiB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\">3<\/p>\n<\/td>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">27.74<\/p>\n<\/td>\n<td data-colwidth=\"129\" width=\"129\">\n<p align=\"left\">764<\/p>\n<\/td>\n<td data-colwidth=\"122\" width=\"122\">\n<p align=\"left\">255<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">11\u202f469\u00a0MiB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"75\" width=\"75\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">24.95<\/p>\n<\/td>\n<td data-colwidth=\"129\" width=\"129\">\n<p align=\"left\">1018<\/p>\n<\/td>\n<td data-colwidth=\"122\" width=\"122\">\n<p align=\"left\">255<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">11\u202f545\u00a0MiB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ae7\/487\/598\/ae7487598401b3e4e7f54c041110000d.png\" width=\"937\" height=\"495\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ae7\/487\/598\/ae7487598401b3e4e7f54c041110000d.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ae7\/487\/598\/ae7487598401b3e4e7f54c041110000d.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043a\u0430\u043a\u00a0\u043f\u043e\u00a0\u0443\u0447\u0435\u0431\u043d\u0438\u043a\u0443. \u0412\u043e\u00a0\u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0440\u0435\u0436\u0438\u043c\u0430\u0445\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u043e\u0432\u043d\u043e 255\u00a0\u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u043e\u0439 \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u00a0\u044d\u0442\u043e\u043c \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u0435: \u043f\u0440\u0438 <code>n=1<\/code> \u043f\u0435\u0440\u0432\u044b\u0439 speculative token \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u043b\u0441\u044f \u0432\u0441\u0435\u0433\u0434\u0430, \u0430\u00a0\u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u0434\u043e\u00a0n=2..4\u00a0\u043d\u0435\u00a0\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u043e \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u0438 <code>n=1<\/code>\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e 255\u00a0\u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u043e 255, \u043f\u0440\u0438 <code>n=4<\/code> \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0443\u0436\u0435 1018, \u043d\u043e\u00a0\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0442\u0435\u00a0\u0436\u0435 255. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0440\u043e\u0432\u043d\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u00a0\u044d\u0442\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0442\u043e, \u0447\u0442\u043e\u00a0\u043f\u043e\u0442\u043e\u043c \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043b\u043e\u0441\u044c. \u041e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u043d\u043e\u0432\u0430\u044f \u0441\u0442\u0443\u043f\u0435\u043d\u044c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 75\u00a0\u041c\u0411 VRAM \u043d\u0430\u00a0GPU. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 <code>n=1<\/code> \u0437\u0434\u0435\u0441\u044c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0438 \u0441\u0430\u043c\u044b\u043c\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u043c, \u0438 \u0441\u0430\u043c\u044b\u043c \u043b\u0451\u0433\u043a\u0438\u043c.<\/p>\n<p>\u041d\u043e\u00a0\u044d\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u0430\u00a0\u043d\u0435\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c. \u0412\u00a0\u0442\u0435\u0441\u0442\u0435 \u0441\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u00a0\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c OpenCode <code>n=3<\/code> \u0441\u0442\u0430\u043b \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435: \u043a\u043e\u0434, JSON, \u043f\u0430\u0442\u0447\u0438 \u0438 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0447\u0430\u0441\u0442\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0438 MTP \u0443\u0434\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043d\u0435\u00a0\u043e\u0434\u0438\u043d, \u0430\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u043e\u0434\u0440\u044f\u0434. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435\u00a0\u0441\u0442\u0430\u043b \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u043e\u00a0\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0433\u0440\u0430\u0444\u0438\u043a\u0443, \u0430\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0447\u0443\u044e \u0441\u0435\u0441\u0441\u0438\u044e.<\/p>\n<h2>10. \u0410\u0433\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0441\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 OpenCode \u0443\u0441\u043a\u043e\u0440\u0438\u043b\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0\u0445\u043e\u043b\u043e\u0434\u043d\u043e\u043c\u0443 prefill, \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0442\u0435\u0441\u0442. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u043b \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u0449\u0438\u0439 \u043f\u0440\u0435\u0444\u0438\u043a\u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 100K \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0439. \u0412\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u043d\u043e\u0432\u043e\u043c \u0445\u043e\u0434\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f\u00a0\u0431\u044b\u043b\u0430 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u0430, \u0430\u00a0llama.cpp \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0441\u044f \u0441 <code>cache_prompt=true<\/code> \u0438 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0439 KV\u2011cache.<\/p>\n<p>\u0418 \u0442\u0430\u043a\u043e\u0439 \u0440\u0435\u0436\u0438\u043c \u0431\u043b\u0438\u0436\u0435 \u043a\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438: \u0434\u043e\u0440\u043e\u0433\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0435\u00a0\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0435\u0440\u0435\u0434 \u043a\u0430\u0436\u0434\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0437\u0430\u043d\u043e\u0432\u043e. \u041f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0445\u043e\u0434\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043d\u043e\u0432\u044b\u0439 \u0445\u0432\u043e\u0441\u0442\u00a0\u2014 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u043d\u043e\u0432\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c decode \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"167\" width=\"167\">\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"178\" width=\"178\">\n<p align=\"left\"><strong>\u0425\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u0441<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"182\" width=\"182\">\n<p align=\"left\"><strong>\u041f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0439 \u0445\u043e\u0434, \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u0441<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"196\" width=\"196\">\n<p align=\"left\"><strong>Decode \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u0445\u043e\u0434\u0430, \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"167\" width=\"167\">\n<p align=\"left\">A\u00a0\u2014 layer + Q4<\/p>\n<\/td>\n<td data-colwidth=\"178\" width=\"178\">\n<p align=\"left\">211.4<\/p>\n<\/td>\n<td data-colwidth=\"182\" width=\"182\">\n<p align=\"left\">53.53<\/p>\n<\/td>\n<td data-colwidth=\"196\" width=\"196\">\n<p align=\"left\">9.63 <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"167\" width=\"167\">\n<p align=\"left\">B\u00a0\u2014 tensor + Q4<\/p>\n<\/td>\n<td data-colwidth=\"178\" width=\"178\">\n<p align=\"left\">221.1<\/p>\n<\/td>\n<td data-colwidth=\"182\" width=\"182\">\n<p align=\"left\">29.96<\/p>\n<\/td>\n<td data-colwidth=\"196\" width=\"196\">\n<p align=\"left\">17.34 <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"167\" width=\"167\">\n<p align=\"left\">C\u00a0\u2014 Unsloth + Q8, \u0431\u0435\u0437\u00a0MTP<\/p>\n<\/td>\n<td data-colwidth=\"178\" width=\"178\">\n<p align=\"left\">217.0<\/p>\n<\/td>\n<td data-colwidth=\"182\" width=\"182\">\n<p align=\"left\">26.28<\/p>\n<\/td>\n<td data-colwidth=\"196\" width=\"196\">\n<p align=\"left\">19.81 <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"167\" width=\"167\">\n<p align=\"left\">D\u00a0\u2014 MTP n=3<\/p>\n<\/td>\n<td data-colwidth=\"178\" width=\"178\">\n<p align=\"left\">215.8<\/p>\n<\/td>\n<td data-colwidth=\"182\" width=\"182\">\n<p align=\"left\">11.82<\/p>\n<\/td>\n<td data-colwidth=\"196\" width=\"196\">\n<p align=\"left\">47.00 <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"167\" width=\"167\">\n<p align=\"left\">E\u00a0\u2014 MTP n=1<\/p>\n<\/td>\n<td data-colwidth=\"178\" width=\"178\">\n<p align=\"left\">220.4<\/p>\n<\/td>\n<td data-colwidth=\"182\" width=\"182\">\n<p align=\"left\">17.83<\/p>\n<\/td>\n<td data-colwidth=\"196\" width=\"196\">\n<p align=\"left\">30.28 <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e\u0442 \u0442\u0435\u0441\u0442 \u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u043a\u0430\u043a\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u044b\u043c \u0434\u043b\u044f\u00a0MTP: \u0443 <code>n=3<\/code> acceptance \u043d\u0430\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0445 \u0445\u043e\u0434\u0430\u0445 \u0434\u043e\u0445\u043e\u0434\u0438\u043b \u0434\u043e 92\u201399%, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 47\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0437\u0434\u0435\u0441\u044c \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u0432\u0435\u0440\u0445\u043d\u044e\u044e \u043f\u043b\u0430\u043d\u043a\u0443 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430, \u0430\u00a0\u043d\u0435\u00a0\u0442\u0438\u043f\u0438\u0447\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043b\u044e\u0431\u043e\u0433\u043e \u043a\u043e\u0434\u0430. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0432\u044b\u0432\u043e\u0434 \u0432\u00a0\u0434\u0440\u0443\u0433\u043e\u043c: \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f KV\u2011cache \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0438\u0437\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0445 \u0445\u043e\u0434\u043e\u0432, \u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u0435\u0435.<\/p>\n<h2>11. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 OpenCode: n=1\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 n=3<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0438 \u044f \u0441\u0440\u0430\u0432\u043d\u0438\u043b <code>n=1<\/code> \u0438 <code>n=3<\/code> \u0443\u0436\u0435 \u0432\u00a0\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c OpenCode. \u041f\u0440\u043e\u0435\u043a\u0442\u00a0\u0431\u044b\u043b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d \u043e\u0434\u043d\u0438\u043c commit\u2011\u043e\u043c \u0438 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u043d\u043e\u0432\u0430\u044f \u0441\u0435\u0441\u0441\u0438\u044f, \u0430\u00a0\u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u043b \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441: \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u043b\u043e\u0433\u0438\u043a\u0443 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 \u043f\u0435\u0440\u0435\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u0439\u0442\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u0438 \u0442\u0435\u0441\u0442\u044b, \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0433\u043e\u043d\u043a\u0438 (races) \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u043f\u043b\u0430\u043d \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0435\u0437\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0444\u0430\u0439\u043b\u043e\u0432. \u0412\u00a0\u043e\u0431\u0435\u0438\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0432\u044b\u0440\u043e\u0441 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e 100K \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u043f\u043e\u00a0\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0434\u043b\u0438\u043d\u043d\u0435\u0435, \u043d\u043e\u00a0\u0442\u0443\u0442 \u044f \u043e\u0448\u0438\u0431\u0441\u044f \u0438 \u043e\u0442\u043e\u0448\u0435\u043b, \u0437\u0430\u0431\u044b\u0432 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u044c \u043e\u0434\u043d\u043e \u0438\u0437\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 OpenCode, \u0438 llama\u2011server \u043e\u043a\u043e\u043b\u043e \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u0438 \u043c\u0438\u043d\u0443\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u043b \u043d\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0441\u0435 \u0442\u0430\u043a\u0438\u0435 \u043f\u0430\u0443\u0437\u044b \u044f \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u043b \u0438\u0437\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f. \u041d\u0438\u0436\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438\u0437\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 \u043b\u043e\u0433\u043e\u0432: \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u0432\u0440\u0435\u043c\u044f, \u043a\u043e\u0433\u0434\u0430 GPU \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>n=1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>n=3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0417\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043a\u00a0\u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">20<\/p>\n<\/td>\n<td>\n<p align=\"left\">18<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">37\u202f166<\/p>\n<\/td>\n<td>\n<p align=\"left\">33\u202f468<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u043e\u0432\u044b\u0445 prompt\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">139\u202f898<\/p>\n<\/td>\n<td>\n<p align=\"left\">139\u202f724<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u0435\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.43\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">39.60\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u044f\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">36.19\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">46.13\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041c\u0435\u0434\u0438\u0430\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">35.83\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">47.02\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">23\u00a0\u043c\u0438\u043d 36\u00a0\u0441\u0435\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">18\u00a0\u043c\u0438\u043d 40\u00a0\u0441\u0435\u043a<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c OpenCode \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u043b\u0441\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e sweep: \u0441\u0440\u0435\u0434\u043d\u0435\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 32.43\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043f\u0440\u0438 <code>n=1<\/code> \u0434\u043e 39.60\u00a0\u043f\u0440\u0438 <code>n=3<\/code>, \u0447\u0442\u043e\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 22%. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0434\u043e\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0443 <code>n=3<\/code>\u00a0\u0431\u044b\u043b\u0430 \u043d\u0438\u0436\u0435 (59% \u043f\u0440\u043e\u0442\u0438\u0432 78%), \u043d\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 1.78\u00a0\u0434\u043e 2.80\u00a0\u0442\u043e\u043a\u0435\u043d\u0430. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, <code>n=3<\/code> \u0447\u0430\u0449\u0435 \u043e\u0448\u0438\u0431\u0430\u043b\u0441\u044f \u043d\u0430\u00a0\u0434\u0430\u043b\u044c\u043d\u0435\u043c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0435, \u0437\u0430\u0442\u043e \u043f\u0440\u0438\u00a0\u0443\u0441\u043f\u0435\u0445\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u0438\u0432\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<p>\u0414\u0430\u0436\u0435 \u043d\u0430\u00a0\u0443\u0447\u0430\u0441\u0442\u043a\u0430\u0445 \u0441\u00a0\u0443\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u00a0\u0438\u0441\u0447\u0435\u0437\u043b\u043e, \u0438 \u0432\u00a0\u0440\u0430\u0431\u043e\u0447\u0435\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u044f \u0432\u00a0\u0438\u0442\u043e\u0433\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u043b <code>--spec-draft-n-max 3<\/code>. \u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437\u00a0\u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432\u043e\u00a0\u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438: \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 speculative decoding \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435, \u0430\u00a0\u043d\u0435\u00a0\u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0442\u0435\u0441\u0442\u0443, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0442\u043e\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u0447\u0435\u043d\u044c \u0447\u0438\u0441\u0442\u043e.<\/p>\n<blockquote>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: \u043d\u0435\u00a0\u043a\u043e\u043f\u0438\u0440\u0443\u0439\u0442\u0435 <code>n=3<\/code> \u043a\u0430\u043a \u00ab\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435\u00bb \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0MTP. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c\u00a0\u0436\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 long\u2011context \u0442\u0435\u0441\u0442 \u0432\u044b\u0431\u0440\u0430\u043b <code>n=1<\/code>, \u0430\u00a0\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 OpenCode \u0432\u044b\u0431\u0440\u0430\u043b <code>n=3<\/code>. Acceptance \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0442\u0435\u043a\u0441\u0442\u0430, \u043c\u043e\u0434\u0435\u043b\u0438, \u0448\u0430\u0431\u043b\u043e\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438 \u0441\u0430\u043c\u043e\u0439 \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 <code>n-max<\/code> \u043b\u0443\u0447\u0448\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043d\u0430\u00a0\u0441\u0432\u043e\u0451\u043c \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438.<\/p>\n<\/blockquote>\n<h2>12. \u0410\u00a0\u0447\u0442\u043e\u00a0\u0441\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c?<\/h2>\n<p>\u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u044d\u0442\u043e\u00a0\u0431\u044b\u043b \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u042f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u00a0\u0445\u043e\u0442\u0435\u043b \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043d\u0430\u00a0\u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0439 Q2, \u043e\u0431\u0440\u0435\u0437\u043a\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u043b\u0438\u00a0\u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0433\u043e \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u044f. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0432\u044b\u0448\u043b\u043e \u0442\u0430\u043a, \u0447\u0442\u043e\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 Q8\u00a0KV \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e Q4. \u041d\u043e\u00a0\u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u00ab\u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0442\u0430\u043a\u00a0\u0436\u0435\u00bb \u0434\u043b\u044f\u00a0\u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u0430\u043b\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0434\u0432\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 smoke\u2011\u0442\u0435\u0441\u0442\u0430. \u042d\u0442\u043e \u043d\u0435\u00a0SWE\u2011bench, LongBench \u0438 \u043d\u0435\u00a0\u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0446\u0435\u043b\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u0435\u0435. \u041c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0435\u00a0\u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c\u00a0\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u00a0\u043c\u043e\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445.<\/p>\n<h3>12.1. Long\u2011context retrieval \u0438 multi\u2011hop<\/h3>\n<p>\u0411\u044b\u043b \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u0440\u0445\u0438\u0432 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430 65K \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430 120K \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412\u00a0\u043d\u0435\u0433\u043e \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438\u0441\u044c 20\u00a0\u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0432, \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u043f\u043e\u00a0\u0434\u043b\u0438\u043d\u0435, \u0438 10\u00a0\u0446\u0435\u043f\u043e\u0447\u0435\u043a \u0438\u0437\u00a0\u0442\u0440\u0451\u0445 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439, \u0440\u0430\u0437\u043d\u0435\u0441\u0451\u043d\u043d\u044b\u0445 \u043f\u043e\u00a0\u0440\u0430\u0437\u043d\u044b\u043c \u0447\u0430\u0441\u0442\u044f\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u0430\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0430\u00a0\u043e\u0431\u0449\u0438\u0439 \u0430\u0440\u0445\u0438\u0432 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0447\u0435\u0440\u0435\u0437 KV\u2011cache.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0420\u0435\u0436\u0438\u043c<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\"><strong>~65K: \u043f\u0440\u044f\u043c\u044b\u0435<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\"><strong>~65K: 3-hop<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"145\" width=\"145\">\n<p align=\"left\"><strong>~120K: \u043f\u0440\u044f\u043c\u044b\u0435<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"146\" width=\"146\">\n<p align=\"left\"><strong>~120K: 3-hop<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 layer\/Q4 <\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\">20\/20<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td data-colwidth=\"145\" width=\"145\">\n<p align=\"left\">20\/20<\/p>\n<\/td>\n<td data-colwidth=\"146\" width=\"146\">\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 tensor\/Q8\/MTP n=3 <\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\">20\/20<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td data-colwidth=\"145\" width=\"145\">\n<p align=\"left\">20\/20<\/p>\n<\/td>\n<td data-colwidth=\"146\" width=\"146\">\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 30\/30\u00a0\u043d\u0430\u00a0\u043e\u0431\u0435\u0438\u0445 \u0434\u043b\u0438\u043d\u0430\u0445. \u042d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e. \u0412\u0438\u0434\u0438\u043c\u043e \u0442\u0435\u0441\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0432\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0\u043d\u0435 \u00ab\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u00bb, \u0430 \u00ab\u043d\u0430 \u044d\u0442\u043e\u043c long\u2011context smoke\u2011test \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043d\u0435\u00a0\u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e\u00bb.<\/p>\n<h3>12.2. Coding benchmark \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0442\u0435\u0441\u0442\u0430\u043c\u0438<\/h3>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0442\u0435\u0441\u0442\u00a0\u0431\u044b\u043b \u0431\u043b\u0438\u0436\u0435 \u043a\u00a0\u043c\u043e\u0435\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u042f \u0441\u0434\u0435\u043b\u0430\u043b \u0432\u043e\u0441\u0435\u043c\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432 \u0441\u00a0\u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0441\u043b\u043e\u043c\u0430\u043d\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439: \u043f\u0430\u0433\u0438\u043d\u0430\u0446\u0438\u044f, endpoint\/IPv6\u00a0parser, retry\/backoff, deep merge \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439, TTL+LRU cache, \u0432\u044b\u0431\u043e\u0440 VPN\u2011\u0441\u0435\u0440\u0432\u0435\u0440\u0430, reconnect state machine \u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f IPv4\/IPv6\u00a0\u043c\u0430\u0440\u0448\u0440\u0443\u0442\u043e\u0432.<\/p>\n<p>OpenCode \u0432\u0438\u0434\u0435\u043b \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 unit\u2011\u0442\u0435\u0441\u0442\u043e\u0432, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0432\u0438\u0434\u0435\u043b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 edge\u2011case \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. \u041f\u043e\u0441\u043b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0433\u0435\u043d\u0442\u0430 \u044f \u043f\u043e\u00a0SHA-256\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b, \u0447\u0442\u043e\u00a0\u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0438 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u044b\u043c\u0438, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0442\u0435\u0441\u0442\u044b. \u0415\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u043c\u0435\u043d\u044f\u043b \u0437\u0430\u0449\u0438\u0449\u0451\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b, \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0447\u0438\u0442\u0430\u043b\u0430\u0441\u044c \u043f\u0440\u043e\u0432\u0430\u043b\u0435\u043d\u043d\u043e\u0439. <\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\"><strong>\u0417\u0430\u0434\u0430\u0447\u0430<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\"><strong>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 layer\/Q4<\/strong> <\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 tensor\/Q8\/MTP n=3<\/strong> <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">Pagination<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 5\/5<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 5\/5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">Endpoint parser<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 8\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 8\/8<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">Retry\/backoff<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">Deep merge<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">TTL + LRU<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">Server selector<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 5\/5<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 5\/5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">Reconnect state<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 4\/4<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 4\/4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\">Route normalizer<\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<td>\n<p align=\"left\">PASS 6\/6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"194\" width=\"194\">\n<p align=\"left\"><strong>\u0418\u0442\u043e\u0433\u043e<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"261\" width=\"261\">\n<p align=\"left\"><strong>8\/8, 46\/46<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>8\/8, 46\/46<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0448\u043b\u0438 8\/8\u00a0\u0437\u0430\u0434\u0430\u0447 \u0438 46\/46\u00a0\u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a, \u043f\u0440\u0438\u0447\u0451\u043c \u0437\u0430\u0449\u0438\u0449\u0451\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0438 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u044b\u043c\u0438. \u042d\u0442\u0438 \u0442\u0435\u0441\u0442\u044b \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u0430\u043a\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0430\u00a0\u043d\u0435\u00a0\u043a\u0430\u043a\u00a0performance\u2011\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u0410\u0433\u0435\u043d\u0442 \u0432\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432, \u0447\u0442\u0435\u043d\u0438\u0439 \u0444\u0430\u0439\u043b\u043e\u0432 \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u00a0\u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e.<\/p>\n<p>\u041d\u0430\u00a0\u0434\u0432\u0443\u0445 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 smoke\u2011\u0442\u0435\u0441\u0442\u0430\u0445 \u044f \u043d\u0435\u00a0\u0443\u0432\u0438\u0434\u0435\u043b \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. 30\/30\u00a0\u0438 8\/8\u00a0\u0437\u0434\u0435\u0441\u044c \u043d\u0435\u00a0\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442, \u0447\u0442\u043e\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b \u043f\u043e\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0432\u043e\u043e\u0431\u0449\u0435. \u0422\u0443\u0442 \u0441\u043a\u043e\u0440\u0435\u0435 \u0442\u0435\u0441\u0442\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c. \u0414\u043b\u044f\u00a0\u043c\u043e\u0435\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0446\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u043d\u043e\u00a0\u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0435\u00a0\u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043e\u0431\u0449\u0435\u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438.<\/p>\n<h2>13. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043a\u043e\u043d\u0444\u0438\u0433<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0OpenCode \u044f \u043e\u0441\u0442\u0430\u0432\u0438\u043b self\u2011MTP \u0441 <code>n-max=3<\/code> \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 coding\u2011\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u043e\u043d \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0438. \u041f\u043e\u043b\u043d\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043e\u043d\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0439 \u043a\u043e\u043d\u0444\u0438\u0433, \u0430\u00a0\u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0431\u043e\u0440 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u043b\u0430\u0433\u043e\u0432 \u0438\u0437\u00a0\u0442\u0435\u043a\u0441\u0442\u0430. \u041e\u0431\u0440\u0430\u0437 \u0442\u043e\u0436\u0435 \u0437\u0430\u043a\u0440\u0435\u043f\u043b\u0451\u043d \u043d\u0430\u00a0b10991, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 tensor + quantized KV \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0432\u0435\u0440\u0441\u0438\u0438.<\/p>\n<pre><code class=\"bash\">docker run --rm --gpus all \\ \u00a0 -p 8080:8080 \\ \u00a0 -v \"$HOME\/models:\/models:ro\" \\ \u00a0 ghcr.io\/ggml-org\/llama.cpp:server-cuda13-b10991 \\ \u00a0 -m \/models\/unsloth-qwen38\/Qwen3.8-27B-UD-Q4_K_M.gguf \\ \u00a0 --alias Qwen3.8-27B-Unsloth-Q4_K_M \\ \u00a0 -ngl all \\ \u00a0 -c 131072 \\ \u00a0 -np 1 \\ \u00a0 -sm tensor \\ \u00a0 --fit off \\ \u00a0 -fa on \\ \u00a0 -ctk q8_0 \\ \u00a0 -ctv q8_0 \\ \u00a0 --spec-type draft-mtp \\ \u00a0 --spec-draft-n-max 3 \\ \u00a0 --host 0.0.0.0 \\ \u00a0 --port 8080<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>--fit off<\/code> \u0437\u0434\u0435\u0441\u044c \u0443\u043a\u0430\u0437\u0430\u043d \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e: \u0434\u043b\u044f\u00a0tensor split auto\u2011fit \u043d\u0435\u00a0\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0442\u0438\u043f KV\u2011cache \u044f \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e \u0432\u0440\u0443\u0447\u043d\u0443\u044e. \u0424\u043b\u0430\u0433 <code>--no-mmproj<\/code> \u0432\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u043d\u0435\u00a0\u043d\u0443\u0436\u0435\u043d, \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 <code>-m<\/code> \u0431\u0435\u0437\u00a0multimodal projector, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 text\u2011only \u0440\u0435\u0436\u0438\u043c \u0438 \u0442\u0430\u043a \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u0435\u043d.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u0440\u0435\u0436\u0438\u043c \u0434\u0430\u0451\u0442 \u043c\u043d\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 128K \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, Q8\u00a0KV\u2011cache, \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 RTX 3060\u00a0\u0438 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 MTP. \u0412\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c OpenCode \u0441\u0440\u0435\u0434\u043d\u0435\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u00a0\u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 39.6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u0445\u043e\u0434\u0438\u043b \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e 100K.<\/p>\n<h2>14. \u0427\u0442\u043e\u00a0\u0432\u00a0\u0438\u0442\u043e\u0433\u0435 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e, \u0430\u00a0\u0447\u0442\u043e\u00a0\u043d\u0435\u0442<\/h2>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"357\" width=\"357\">\n<p align=\"left\"><strong>\u0421\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041d\u0435\u00a0\u043f\u043e\u043c\u043e\u0433\u043b\u043e \/ \u0443\u043f\u0451\u0440\u043b\u043e\u0441\u044c \u0432\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"357\" width=\"357\">\n<p align=\"left\">Tensor split\u00a0\u2014 \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0439 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">NCCL \u043d\u0430\u00a0\u043c\u043e\u0435\u0439 PHB\u2011\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438\u00a0\u2014 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e all\u2011reduce<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"357\" width=\"357\">\n<p align=\"left\">Unsloth GGUF \u0441\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">External MTP + tensor + \u043f\u043e\u043b\u043d\u044b\u0439 128K\u00a0\u2014 \u043d\u0435\u00a0\u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0441\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"357\" width=\"357\">\n<p align=\"left\">Q8\u00a0KV \u0432\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c 128K \u0440\u0435\u0436\u0438\u043c\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 ubatch \u043d\u0435\u00a0\u0441\u043f\u0430\u0441\u043b\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0439 MTP \u043d\u0430 128K<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"357\" width=\"357\">\n<p align=\"left\">MTP n=3\u00a0\u0434\u043b\u044f\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e OpenCode<\/p>\n<\/td>\n<td>\n<p align=\"left\">Shared buffers \u0434\u043b\u044f\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 Meta backends \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0438\u00a0\u0431\u044b \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0434\u0435\u043b\u043a\u0438 ggml<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"357\" width=\"357\">\n<p align=\"left\">\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e filled context, \u0430\u00a0\u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u2011c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0short benchmark<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>15. \u0410\u00a0\u0447\u0442\u043e\u00a0\u0434\u0430\u043b\u044c\u0448\u0435?<\/h2>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u0448\u0430\u0433\u043e\u043c\u00a0\u0431\u044b\u043b\u043e\u00a0\u0431\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0435 \u043e\u043a\u043d\u043e \u0434\u043e 256\u041a. \u0417\u0434\u0435\u0441\u044c \u0443\u0436\u0435 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u00a0KV\u2011cache \u0438 VRAM, \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u00a0\u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u043c KV\u2011cache, \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e\u00a0Q4, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c retrieval\u2011\u0442\u0435\u0441\u0442 \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0430\u0445 200K+.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u044d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u00a0\u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442 \u0441\u0435\u0431\u044f \u0436\u0434\u0430\u0442\u044c.<\/p>\n<h2>16. \u0418\u0442\u043e\u0433<\/h2>\n<p>\u041d\u0430\u0447\u0438\u043d\u0430\u043b\u043e\u0441\u044c \u0432\u0441\u0451 \u0441\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430: \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0434\u0432\u0435 RTX 3060 12\u00a0\u0413\u0411 \u043d\u0430\u00a0\u0441\u0442\u0430\u0440\u0435\u043d\u044c\u043a\u043e\u043c i7-4790\u00a0\u0438 Z97-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u0432\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 coding backend, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. \u0412\u00a0\u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u043f\u0443\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043e\u0442 ~9\u00a0\u0434\u043e ~40\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 OpenCode \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 <code>n=3<\/code> \u0434\u0430\u043b 39.6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u043b 100K. \u0412\u00a0\u0431\u043e\u043b\u0435\u0435 \u0436\u0451\u0441\u0442\u043a\u043e\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0441 ~120K \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u043e\u0432\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 8.89\u00a0\u0434\u043e 28.16\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441.<\/p>\n<p>\u042d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435\u00a0\u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e \u0438\u0445 \u0432\u00a0\u043e\u0434\u043d\u0443 \u00ab\u043c\u0430\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e\u00bb \u0446\u0438\u0444\u0440\u0443. \u041d\u043e\u00a0\u043e\u0431\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0434\u0432\u0438\u0433, \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u0442\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0431\u043e\u0447\u0438\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c.<\/p>\n<p>\u0421\u0430\u043c\u043e\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u0432\u00a0\u043e\u0434\u043d\u043e\u0439 \u00ab\u0432\u043e\u043b\u0448\u0435\u0431\u043d\u043e\u0439\u00bb \u043a\u043d\u043e\u043f\u043a\u0435. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u043b\u043e\u0436\u0438\u043b\u0441\u044f \u0438\u0437\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0432\u0435\u0449\u0435\u0439: tensor split \u043b\u0443\u0447\u0448\u0435 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0434\u0432\u0435 \u043a\u0430\u0440\u0442\u044b, \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 GGUF \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 MTP \u0431\u0435\u0437\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 draft\u2011\u043c\u043e\u0434\u0435\u043b\u0438, Q8\u00a0KV \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u00a0\u0431\u043e\u043b\u0435\u0435 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u044b\u043c KV\u2011cache, \u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0443 speculative decoding \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0443\u0436\u0435 \u043f\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 OpenCode. \u041d\u0438 \u043e\u0434\u043d\u0430 \u0438\u0437\u00a0\u044d\u0442\u0438\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u0441\u0430\u043c\u0430 \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u043d\u0435\u00a0\u0434\u0430\u043b\u0430\u00a0\u0431\u044b \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u044e\u0441\u044c, \u044f \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u044e \u0442\u0430\u043a\u0443\u044e \u0441\u0431\u043e\u0440\u043a\u0443 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u043d\u043e\u0439 Codex \u0438\u043b\u0438\u00a0Claude Code, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0443\u00a0\u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0432\u044b\u0448\u0435 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u043d\u0430\u00a0\u0441\u0430\u043c\u044b\u0445 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u041d\u043e\u00a0\u0434\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043c\u043e\u0438\u0445 \u043f\u043e\u0432\u0441\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 Qwen \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0441\u00a0\u0437\u0430\u043f\u0430\u0441\u043e\u043c. \u0412\u00a0\u043c\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e\u0442 \u043f\u0443\u0442\u044c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0440\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0435\u0449\u0451 \u0438 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c\u00a0\u0436\u0435\u043b\u0435\u0437\u0430 \u0443\u0436\u0435\u00a0\u0431\u044b\u043b\u0430 \u043f\u043e\u0434\u00a0\u0440\u0443\u043a\u043e\u0439 \u0438\u043b\u0438\u00a0\u0434\u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e, \u0430\u00a0\u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u0441\u0442\u0430\u043b\u0430 \u0432\u0442\u043e\u0440\u0430\u044f RTX 3060. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043b\u044e\u0441\u00a0\u2014 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u0434\u0430\u043d\u043d\u044b\u043c\u0438: \u0441\u0430\u043c inference \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u043a\u043e\u0434, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438, \u043b\u043e\u0433\u0438 \u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c LLM\u2011\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0443.<\/p>\n<p>\u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u0446\u0435\u043b\u044c\u00a0\u0431\u044b\u043b\u0430 \u043d\u0435 \u00ab\u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0443\u0431\u0438\u0439\u0446\u0443 Claude Code \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u0432\u0443\u0445 RTX 3060\u00bb, \u0430\u00a0\u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 coding backend \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u043c \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c, \u0447\u0442\u043e\u0431\u044b \u0438\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0432\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f\u00bb \u0438 \u00ab\u044d\u0442\u043e \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u00bb \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0439, \u0438 \u044d\u0442\u043e \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u0441\u0430\u043c\u044b\u043c \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0435\u043c.<\/p>\n<h2>17. \u0412\u00a0\u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445: \u0435\u0441\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u043e\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/h2>\n<ol>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c GGUF \u0441\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c\u0438 MTP\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u0430\u043c\u0438, \u0435\u0441\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 draft\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0435\u0451 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432 \u043f\u043e\u00a0VRAM.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c <code>-sm tensor<\/code> \u0438 \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430\u00a0\u0441\u0432\u043e\u0451\u043c interconnect: \u0434\u0430\u0436\u0435 \u0431\u0435\u0437\u00a0P2P \u043d\u0430\u00a0\u043c\u043e\u0451\u043c Z97\/PHB\u2011\u0441\u0442\u0435\u043d\u0434\u0435 \u043e\u043d \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 layer, \u043d\u043e\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 VRAM \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442, \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c Q8\u00a0KV. \u0412\u00a0\u043c\u043e\u0435\u0439 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 <code>q8_0\/q8_0<\/code> \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043b\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u043e 128K, \u0441\u0430\u043c\u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043d\u0435\u00a0\u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0432\u00a0long\u2011context smoke\u2011\u0442\u0435\u0441\u0442\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><code>--spec-draft-n-max<\/code> \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 long\u2011context \u0442\u0435\u0441\u0442 \u0432\u044b\u0431\u0440\u0430\u043b <code>n=1<\/code>, \u0430\u00a0\u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 <code>n=1<\/code> \u0438 <code>n=3<\/code> OpenCode\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f <code>n=3<\/code>.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418 \u0435\u0449\u0451 \u0440\u0430\u0437: \u0432\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u0432\u044b\u0448\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443\u00a0\u0436\u0435\u043b\u0435\u0437\u0443\u00a0\u2014 Z97, 2\u00d7RTX 3060 12\u00a0\u0413\u0411, PHB, \u0431\u0435\u0437\u00a0CUDA P2P, llama.cpp b10991. \u041d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 layer\/tensor, KV \u0438 MTP \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0434\u0440\u0443\u0433\u0438\u043c.<\/p>\n<h2>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439<\/h2>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0422\u0435\u0441\u0442<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\"><strong>\u041a\u0430\u043a\u00a0\u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0441\u044f<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 performance<\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\">5\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439, 65\u041a \u0438 120\u041a \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 512\u00a0output, \u043f\u043e 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u043e\u0447\u043a\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">n\u2011max sweep<\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\">Unsloth\/tensor\/Q8\/MTP, n=1..4, 65\u041a \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043f\u043e 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">External\u2011MTP \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0442\u0435\u0441\u0442: <\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\">~90K \u043f\u0440\u0438 <code>-c 98304<\/code> <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Cached\u2011agent<\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\">~100K \u043e\u0431\u0449\u0438\u0439 \u043f\u0440\u0435\u0444\u0438\u043a\u0441 + \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u044f \u0441\u00a0cache_prompt<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 OpenCode: n=1\u00a0vs n=3 <\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\">\u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0435\u043a\u0442 \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 n=1\u00a0\u0438 n=3, \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 \u043b\u043e\u0433\u0438, \u0431\u0435\u0437\u00a0\u0443\u0447\u0451\u0442\u0430 \u0440\u0443\u0447\u043d\u044b\u0445 \u043f\u0430\u0443\u0437<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Long\u2011context quality<\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\">20\u00a0direct retrieval + 10\u00a0\u0442\u0440\u0451\u0445\u0448\u0430\u0433\u043e\u0432\u044b\u0445 \u0446\u0435\u043f\u043e\u0447\u0435\u043a, ~65K \u0438 ~120K, \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, ground truth \u0437\u0430\u0434\u0430\u043d \u0437\u0430\u0440\u0430\u043d\u0435\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Coding quality<\/p>\n<\/td>\n<td data-colwidth=\"369\" width=\"369\">\n<p align=\"left\">8\u00a0\u043c\u0438\u043d\u0438\u2011\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432, \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 + \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0442\u0435\u0441\u0442\u044b, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 SHA256\u00a0\u0437\u0430\u0449\u0438\u0449\u0451\u043d\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432, 46\u00a0\u0441\u043a\u0440\u044b\u0442\u044b\u0445 assertions, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u043a\u0430\u043a\u00a0quality pass\/fail, \u0431\u0435\u0437\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0438: \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435, coding\u2011\u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435\u00a0\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u043d\u043e\u0439 SWE\u2011bench \u0438\u043b\u0438\u00a0\u0434\u0440\u0443\u0433\u0438\u043c \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u0430\u043c, \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 long\u2011context \u0442\u0435\u0441\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 retrieval \u0438 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0441\u0432\u044f\u0437\u043a\u0443 \u0444\u0430\u043a\u0442\u043e\u0432, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0432\u0438\u0434\u044b \u0434\u043b\u0438\u043d\u043d\u043e\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0433\u043e reasoning. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u0432\u044b\u0432\u043e\u0434\u0430 \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u0430\u044f: \u00ab\u043d\u0430 \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0445 smoke\u2011\u0442\u0435\u0441\u0442\u0430\u0445 \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043d\u0435\u00a0\u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e\u00bb.<\/p>\n<h2>\u0421\u0441\u044b\u043b\u043a\u0438<\/h2>\n<p>llama.cpp multi\u2011GPU documentation: <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/blob\/master\/docs\/multi-gpu.md\" rel=\"noopener nofollow\">https:\/\/github.com\/ggml\u2011org\/llama.cpp\/blob\/master\/docs\/multi\u2011gpu.md<\/a><\/p>\n<p>llama.cpp speculative decoding documentation: <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/blob\/master\/docs\/speculative.md\" rel=\"noopener nofollow\">https:\/\/github.com\/ggml\u2011org\/llama.cpp\/blob\/master\/docs\/speculative.md<\/a><\/p>\n<p>llama.cpp container build b10991\u00a0(server\u2011cuda13-b10991): <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/pkgs\/container\/llama.cpp\/versions\" rel=\"noopener nofollow\">https:\/\/github.com\/ggml\u2011org\/llama.cpp\/pkgs\/container\/llama.cpp\/versions<\/a><\/p>\n<p>Issue #28252\u00a0\u2014 hard lock during 100K+ MTP prefill with tensor split: <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/issues\/28252\" rel=\"noopener nofollow\">https:\/\/github.com\/ggml\u2011org\/llama.cpp\/issues\/28252<\/a><\/p>\n<p>Issue #27428\u00a0\u2014 MTP prompt\u2011processing slowdown on multi\u2011GPU layer split: <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/issues\/27428\" rel=\"noopener nofollow\">https:\/\/github.com\/ggml\u2011org\/llama.cpp\/issues\/27428<\/a><\/p>\n<p>Unsloth Qwen3.8\u201327B GGUF: <a href=\"https:\/\/huggingface.co\/unsloth\/Qwen3.8-27B-GGUF\" rel=\"noopener nofollow\">https:\/\/huggingface.co\/unsloth\/Qwen3.8\u201327B\u2011GGUF<\/a><\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1086742\/\">https:\/\/habr.com\/ru\/articles\/1086742\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0417\u0430\u0434\u0430\u0447\u0430\u00a0\u0431\u044b\u043b\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439: \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u043e\u043c\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0434\u043b\u044f\u00a0coding\u2011agent&#8217;\u043e\u0432 \u0438 \u043f\u043e\u00a0\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u043a\u00a0\u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442\u00a0\u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445\u00a0\u043b\u0438\u043c\u0438\u0442\u043e\u0432. Codex \u0438 Claude Code \u043c\u043d\u0435 \u043d\u0440\u0430\u0432\u044f\u0442\u0441\u044f, \u043d\u043e\u00a0\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0443\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u0430\u00a0\u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0437\u0430\u00a0\u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u0442\u0430\u0440\u0438\u0444\u044b 100\u00a0\u0438\u043b\u0438\u00a0\u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 200\u00a0\u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0432\u00a0\u043c\u0435\u0441\u044f\u0446, \u044f \u043d\u0435\u00a0\u0445\u043e\u0447\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0435\u0445\u0430\u0442\u044c \u043d\u0430\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u0443\u0436\u0435 \u0435\u0441\u0442\u044c.\u0416\u0435\u043b\u0435\u0437\u043e \u0434\u043b\u044f\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u00a0\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438: Core i7-4790, 32\u00a0\u0413\u0411 DDR3, ASUS Sabertooth Z97\u00a0Mark 2\u00a0\u0438 \u0434\u0432\u0435 RTX 3060\u00a0\u043f\u043e 12\u00a0\u0413\u0411. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e NVLink, CUDA P2P \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 \u0442\u043e\u0436\u0435 \u043d\u0435\u0442. \u0417\u0430\u0442\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0435\u0441\u0442\u044c 24\u00a0\u0413\u0411 VRAM \u0438\u00a0\u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0432\u044b\u0436\u0430\u0442\u044c \u0438\u0437\u00a0\u043d\u0438\u0445 \u0432\u0441\u0435 \u0441\u043e\u043a\u0438.\u0421\u0435\u0440\u0432\u0435\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c: Z97, i7-4790, 32\u0413\u0411 DDR3\u00a0\u0438 \u0434\u0432\u0435 RTX 3060 12\u00a0\u0413\u0411\u0412\u00a0\u043c\u043e\u0435\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0430\u044f \u0441\u0431\u043e\u0440\u043a\u0430\u00a0\u0431\u044b\u043b\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0439: \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c\u00a0\u0436\u0435\u043b\u0435\u0437\u0430 \u0434\u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u043c\u043d\u0435 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e (\u043c\u043e\u0439 \u0441\u0442\u0430\u0440\u044b\u0439 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440), \u0430\u00a0\u0438\u0437\u00a0\u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0445 \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u0430\u0441\u044c \u0432\u0442\u043e\u0440\u0430\u044f RTX 3060 12\u00a0\u0413\u0411 \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0441\u00a0\u0448\u0443\u043c\u043e\u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b \u043d\u0435 \u00ab\u043d\u043e\u0432\u044b\u0439 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0438\u00bb, \u0430\u00a0\u0440\u0430\u0437\u043e\u0432\u0443\u044e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0443\u0436\u0435 \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u041f\u041a \u0441\u00a0\u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u044b\u043c\u0438 \u043f\u043b\u0430\u0442\u0435\u0436\u0430\u043c\u0438 \u0437\u0430\u00a0\u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0435\u00a0\u043b\u0438\u043c\u0438\u0442\u044b.\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u044f \u043d\u0435\u00a0\u0441\u0442\u0430\u0432\u043b\u044e \u0437\u043d\u0430\u043a \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u043c\u0435\u0436\u0434\u0443 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 Qwen \u0438 Codex \u0438\u043b\u0438\u00a0Claude Code. \u0423\u00a0\u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u043a \u0432\u044b\u0448\u0435 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0430\u00a0\u0441\u0430\u043c\u044b\u0445 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u041d\u043e\u00a0\u0434\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043c\u043e\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 27B\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0441\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u0430\u043f\u0430\u0441\u043e\u043c.\u0415\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043e\u0447\u0435\u043d\u044c \u0432\u0435\u0441\u043e\u043c\u044b\u0439 \u043f\u043b\u044e\u0441: \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c. \u0421\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438, \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u043c\u0443 LLM\u2011\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0443. \u042d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u0434\u043b\u044f\u00a0\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043a\u043e\u0434\u0430, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439, \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043b\u043e\u0433\u043e\u0432 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0442\u0430\u043a\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0441\u0430\u043c\u0430 \u043e\u0431\u0432\u044f\u0437\u043a\u0430 OpenCode, \u043f\u043b\u0430\u0433\u0438\u043d\u044b \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0442\u043e\u0436\u0435 \u043d\u0435\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0440\u0443\u0436\u0443.\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u00a0\u0431\u044b\u043b\u0430 \u043d\u0435\u00a0\u0441\u0430\u043c\u043e\u0446\u0435\u043b\u044c\u044e. \u042f \u043d\u0435\u00a0\u0445\u043e\u0442\u0435\u043b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0446\u0435\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043d\u0430\u00a0\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0443\u044e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0438\u043b\u0438\u00a0\u043e\u0431\u0440\u0435\u0437\u043a\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0426\u0435\u043b\u044c\u00a0\u0431\u044b\u043b\u0430 \u0440\u043e\u0432\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439: \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e 27B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043d\u043e\u00a0\u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0434\u0432\u0435 3060\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e.\u041d\u0430\u00a0\u0441\u0442\u0430\u0440\u0442\u0435 Qwen3.8\u201327B Q4\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430, \u043d\u043e\u00a0\u043d\u0430\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u043f\u0443\u0441\u043a\u0430\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 9\u201310\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041f\u043e\u0441\u043b\u0435 \u0441\u0435\u0440\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u00a0\u0442\u0435\u0445\u00a0\u0436\u0435 \u0434\u0432\u0443\u0445 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u0445 \u0432\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0441 ~120K \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 28.16\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0430\u00a0\u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 OpenCode\u00a0\u2014 39.6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u043c \u043b\u043e\u0433\u0430\u043c. \u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0432\u0430\u0436\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e: \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f, \u0430\u00a0\u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u0435\u0439\u00a0\u0431\u044b\u043b\u043e \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c.1. \u0421\u0430\u043c \u043f\u043e\u0434\u043e\u043f\u044b\u0442\u043d\u044b\u0439\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044fCPUIntel Core i7-4790\u041c\u0430\u0442\u0435\u0440\u0438\u043d\u0441\u043a\u0430\u044f \u043f\u043b\u0430\u0442\u0430ASUS Sabertooth Z97\u00a0Mark 2RAM32\u00a0\u0413\u0411 DDR3 1600MHzGPU2\u00a0\u00d7 NVIDIA GeForce RTX 3060 12\u00a0\u0413\u0411\u0421\u0432\u044f\u0437\u044c GPUPHB, CUDA P2P read\/write \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d\u041f\u041eUbuntu, llama.cpp, Docker, CUDAllama.cppbuild 10991, commit 930e2fa59, Docker tag server\u2011cuda13-b10991\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439OpenCode \/ \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 coding\u2011agent\u0421\u0440\u0430\u0437\u0443 \u0432\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0435\u00a0\u043f\u0440\u043e\u00a0\u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u0412\u0441\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u00a0llama.cpp. \u042d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0431\u043e\u0440 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u0430\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0441\u0442\u0430\u0440\u043e\u043c \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435, \u0430\u00a0\u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u00a0\u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443.2. \u0421\u00a0\u0447\u0435\u0433\u043e \u044f \u043d\u0430\u0447\u0430\u043b\u0412\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u044f \u0432\u0437\u044f\u043b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043a\u043e\u043d\u0444\u0438\u0433: \u043e\u0431\u044b\u0447\u043d\u044b\u0439 Qwen3.8\u201327B Q4_K_M \u043e\u0442\u00a0ggml\u2011org, \u043f\u043e\u043b\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 131\u00a0072\u00a0\u0442\u043e\u043a\u0435\u043d\u0430, Flash Attention, Q4\u00a0KV\u2011cache \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u0441\u043b\u043e\u044f\u043c \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f GPU. \u042d\u0442\u043e\u00a0\u0431\u044b\u043b\u0430 \u043d\u0435\u00a0\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0430\u00a0\u043c\u043e\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u043e\u043d \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0441\u044f \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u044c, \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0441\u044f \u0438 \u0443\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0435\u0439 \u0447\u0435\u0440\u0435\u0437 OpenCode.\u041d\u0438\u0436\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430. \u041f\u043e\u0434\u00a0\u043a\u043e\u043d\u0435\u0446 \u0431\u0443\u0434\u0435\u0442 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c. \u041f\u0443\u0442\u044c \u043a\u00a0GGUF, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0442\u043e\u0433\u043e, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u041f\u041a \u0438\u043b\u0438\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u0435.\u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 Q4_K_M \u0438 128K? \u041c\u043d\u0435 \u043d\u0443\u0436\u0435\u043d\u00a0\u0431\u044b\u043b \u043d\u0435\u00a0\u0440\u0435\u043a\u043e\u0440\u0434 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430, \u0430\u00a0\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0440\u0443\u043f\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f\u00a0\u043a\u043e\u0434\u0430 \u0441\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u0438 \u043f\u0430\u0440\u043e\u0447\u043a\u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043b\u043e\u0433\u043e\u0432. Coding\u2011agent\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0438\u0441\u043a\u0430, \u0432\u044b\u0432\u043e\u0434 \u0442\u0435\u0441\u0442\u043e\u0432 \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0436\u0438\u043c \u043d\u0430 16K \u0438\u043b\u0438 32K \u043c\u0435\u043d\u044f \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u00a0\u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b.docker run &#8212;rm &#8212;gpus all \\ \u00a0 -p 8080:8080 \\ \u00a0 -v &#171;$HOME\/models:\/models:ro&#187; \\ \u00a0 ghcr.io\/ggml-org\/llama.cpp:server-cuda13-b10991 \\ \u00a0 -m \/models\/Qwen3.8-27B-Q4_K_M.gguf \\ \u00a0 -sm layer \\ \u00a0 &#8212;fit on \\ \u00a0 &#8212;fit-target 512 \\ \u00a0 -c 131072 \\ \u00a0 -np 1 \\ \u00a0 -fa on \\ \u00a0 -ctk q4_0 \\ \u00a0 -ctv q4_0 \\ \u00a0 &#8212;host 0.0.0.0 \\ \u00a0 &#8212;port 8080\u041d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0434\u0430\u0432\u0430\u043b 16.6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0447\u0442\u043e\u00a0\u0432\u00a0\u0446\u0435\u043b\u043e\u043c\u00a0\u0431\u044b\u043b\u043e \u0442\u0435\u0440\u043f\u0438\u043c\u043e. \u041d\u043e\u00a0\u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c: \u043d\u0430 ~65K \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c 11.35\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441, \u0430\u00a0\u043d\u0430 ~120K\u00a0\u2014 8.89. \u0412\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u0430\u0433\u0435\u043d\u0442\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0441\u00a0\u0443\u0436\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u043c ~100K \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 9.63\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 9\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0432\u00a0\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435\u00a0\u2014 \u0432\u0437\u044f\u0442\u043e \u043d\u0435\u00a0\u0441\u00a0\u043f\u043e\u0442\u043e\u043b\u043a\u0430, \u0430\u00a0\u0432\u043f\u043e\u043b\u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u0430\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.\u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u043b\u043e, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435\u00a0\u0431\u044b\u043b\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439, \u043d\u043e\u00a0\u0431\u044b\u043b\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u0442\u0430\u043c, \u0433\u0434\u0435 \u043c\u043d\u0435 \u043d\u0443\u0436\u0435\u043d\u00a0\u0431\u044b\u043b \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442: \u043f\u043e\u0441\u043b\u0435 \u0447\u0442\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u043b\u044c\u0448\u0435 \u044f \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u0439 \u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0440\u043e\u0442\u043a\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e, \u043d\u043e\u00a0\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0435 65K-120K.\u0417\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0434 \u00ab65K\/120K\u00bb \u044f \u0438\u043c\u0435\u044e \u0432\u00a0\u0432\u0438\u0434\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0430\u00a0\u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 -c \u043f\u0440\u0438\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e: \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c \u0441 128K KV\u2011cache, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u0443\u043f\u0430\u0441\u0442\u044c \u0441\u00a0CUDA OOM (out of memory) \u043f\u0440\u0438\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 (prefill).3. \u0421\u043c\u0435\u043d\u0430 layer \u043d\u0430\u00a0tensor\u041f\u0435\u0440\u0432\u044b\u043c \u0434\u0435\u043b\u043e\u043c \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b. \u0418 \u0441\u0430\u043c\u044b\u043c \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u0441\u043b\u043e\u044f\u043c \u043a\u00a0\u0442\u0435\u043d\u0437\u043e\u0440\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u044e:-sm layer  \u0437\u0430\u043c\u0435\u043d\u0438\u043b \u043d\u0430 -sm tensor\u0412\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 layer \u0440\u0430\u0437\u043d\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u0441\u043b\u043e\u0451\u0432 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 GPU, \u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0445. \u0412\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 tensor \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043a\u0430\u0440\u0442\u0430\u043c\u0438, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f. \u0412\u00a0\u043c\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u043d\u0435\u00a0\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430 \u0434\u043b\u044f\u00a0multi\u2011GPU: \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 PHB\u2011\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u044f \u0438 \u043d\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u0433\u043e CUDA P2P, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u0441\u0430\u043c\u0438 GPU \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 PCIe 8x. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u044d\u0442\u043e, \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0432\u0443\u0445 GPU \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u0441\u043b\u043e\u044f\u043c.\u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0tensor split \u043d\u0430\u00a0\u0441\u0442\u0430\u0440\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u0431\u0435\u0437\u00a0CUDA P2P \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e: \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0431\u043c\u0435\u043d\u0430 \u043c\u0435\u0436\u0434\u0443 GPU. \u041d\u043e\u00a0\u043f\u0440\u0438\u00a0autoregressive decode \u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044a\u0451\u043c \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u0430\u0435\u043c\u044b\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0432\u0435\u043b\u0438\u043a \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u044a\u0451\u043c\u0430 \u0432\u0435\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043e\u0442\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0432\u0443\u0445 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c VRAM \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432 \u043c\u0435\u0436\u2011GPU \u043e\u0431\u043c\u0435\u043d\u0430\u00a0\u2014 decode \u043f\u043e\u0447\u0442\u0438 \u0443\u0434\u0432\u043e\u0438\u043b\u0441\u044f \u0443\u0436\u0435 \u043e\u0434\u043d\u0438\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u043c \u0441\u00a0layer \u043d\u0430\u00a0tensor. \u042d\u0442\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043a\u00a0\u043c\u043e\u0435\u0439 Z97\/2\u00d7RTX 3060\/PHB\u2011\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438, \u0430\u00a0\u043d\u0435\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435\u043c \u0434\u043b\u044f\u00a0\u043b\u044e\u0431\u043e\u0433\u043e PCIe\u2011\u0441\u0435\u0440\u0432\u0435\u0440\u0430.\u0417\u0434\u0435\u0441\u044c \u044f \u0435\u0449\u0451 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u043b \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u0435\u0441\u043e\u0432 \u0438 KV\u2011cache. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u043e\u0442 \u0448\u0430\u0433 \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u0437\u043e\u043b\u0438\u0440\u0443\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0440\u0435\u0436\u0438\u043c\u0430 multi\u2011GPU: \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043b\u0438\u00a0\u043f\u043e\u0436\u0435\u0440\u0442\u0432\u043e\u0432\u0430\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0430\u00a0\u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0442\u0435\u00a0\u0436\u0435 \u0434\u0432\u0435 RTX 3060\u00a0\u0441\u0442\u0430\u043b\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.\u041d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0431\u0435\u0437\u00a0MTP \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 16.6\u00a0\u0434\u043e 29.5\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0441\u044f: \u0441 11.35\u00a0\u0434\u043e 20.27\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043d\u0430 ~65K \u0438 \u0441 8.89\u00a0\u0434\u043e 16.09\u00a0\u043d\u0430 ~120K. \u0422\u043e \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u0441\u043c\u0435\u043d\u0430 layer \u043d\u0430\u00a0tensor \u0434\u0430\u043b\u0430 \u043f\u043e\u0447\u0442\u0438 x2\u00a0\u043d\u0430 120K. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0441\u0442\u0430\u043b\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u043d\u044e\u0430\u043d\u0441\u0443 \u044f \u0435\u0449\u0451 \u0432\u0435\u0440\u043d\u0443\u0441\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 prefill \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443.\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442\u00a0\u2014 \u044d\u0442\u043e quantized KV \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 -sm tensor. \u041d\u0430\u00a0\u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f llama.cpp \u0432\u0441\u0451 \u0435\u0449\u0451 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u043b\u0430, \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0tensor split KV\u2011cache \u0434\u043e\u043b\u0436\u0435\u043d\u00a0\u0431\u044b\u0442\u044c f32\/f16\/bf16\u00a0\u0438 \u0447\u0442\u043e\u00a0quantized KV \u043d\u0435\u00a0\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u044d\u0442\u043e, \u0432\u0441\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430\u00a0\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c llama.cpp b10991\u00a0(commit 930e2fa59), \u0438 \u043d\u0430\u00a0\u044d\u0442\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 tensor + q8_0\/q8_0\u00a0\u043d\u0430\u00a0\u043c\u043e\u0451\u043c CUDA\u2011\u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0436\u0438\u043b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0435 ~120K \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u043e\u043c\u0435\u0440 build \u0437\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u0438\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0430\u0441\u0442\u044c\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438: \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.4. Speculative decoding \u0438 MTP\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f\u00a0\u2014 speculative decoding \u0447\u0435\u0440\u0435\u0437 MTP (Multi Token Prediction). \u0415\u0441\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c, MTP \u0441\u0442\u0440\u043e\u0438\u0442 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430\u00a0\u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f Qwen \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437. \u041f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435, \u0447\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0437\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e: MTP \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0430 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u00ab\u0434\u043e\u043f\u0438\u0441\u0430\u0442\u044c\u00bb \u043e\u0442\u0432\u0435\u0442 \u043c\u0438\u043c\u043e \u043d\u0435\u0451.\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0437\u0434\u0435\u0441\u044c\u00a0\u2014 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430, &#8212;spec-draft-n-max. \u0427\u0435\u043c \u043e\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 MTP \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432\u043f\u0435\u0440\u0451\u0434. \u042d\u0442\u043e \u043d\u0435\u00a0\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435: \u0435\u0441\u043b\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0447\u0430\u0441\u0442\u043e \u0431\u0440\u0430\u043a\u0443\u044e\u0442\u0441\u044f, GPU \u0442\u0440\u0430\u0442\u0438\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0442\u043e\u043c \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u043e\u043c\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u044f \u0441\u0442\u0430\u043b \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u0447\u0438\u0441\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043d\u0430\u00a0\u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0434\u043b\u0438\u043d\u0443 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u044f\u0442\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0438.\u0421\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c MTP GGUF \u043d\u0430\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u043a\u0430\u043a\u00a0\u043c\u0430\u0433\u0438\u044f: \u043e\u043a\u043e\u043b\u043e 60\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043f\u0440\u0438 n-max=2, 64\u00a0\u043f\u0440\u0438 n=3 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 66\u00a0\u043f\u0440\u0438 n=4. \u041d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435 n=4\u00a0\u0431\u044b\u043b \u043b\u0443\u0447\u0448\u0438\u043c. \u041d\u043e\u00a0\u0443\u00a0\u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e MTP \u0435\u0441\u0442\u044c \u0446\u0435\u043d\u0430 \u043f\u043e\u00a0\u043f\u0430\u043c\u044f\u0442\u0438: \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u0431\u0443\u0444\u0435\u0440\u0430\u043c\u0438. \u0412\u00a0\u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0438 \u0441\u00a0tensor split \u0438 \u043f\u043e\u043b\u043d\u044b\u043c\u0438 128K, \u043a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043f\u0430\u043c\u044f\u0442\u044c \u0441\u0442\u0430\u043b\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c.5. \u0411\u043e\u0440\u044c\u0431\u0430 \u0437\u0430\u00a0VRAM\u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0441\u0430\u043c\u0430\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u042f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0443\u0431\u0435\u0434\u0438\u043b\u0441\u044f, \u0447\u0442\u043e \u00abllama\u2011server \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0441\u044f \u0441 -c 131072\u00bb \u0438 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0436\u0438\u043b\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 120K\u00bb\u00a0\u2014 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f. \u041f\u0440\u0438\u00a0\u0441\u0442\u0430\u0440\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c KV\u2011cache, \u043d\u043e\u00a0\u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e prefill \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u0431\u0443\u0444\u0435\u0440\u044b, \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0430 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0432 nvidia-smi, \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f CUDA OOM.\u0422\u0430\u043a \u0438 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0441\u00a0tensor + Q8\u00a0KV \u0431\u0435\u0437\u00a0MTP: \u0441\u0435\u0440\u0432\u0435\u0440 \u0441 128K \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u043b \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044e \u043f\u0430\u043c\u044f\u0442\u044c, \u043d\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 prefill \u0443\u0436\u0435 \u043d\u0435\u00a0\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u0430\u043f\u0430\u0441\u0430. \u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u043d\u0430\u00a0Q4\u00a0KV \u043e\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u043b&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-496099","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/496099","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=496099"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/496099\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=496099"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=496099"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=496099"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}