{"id":500151,"date":"2026-10-25T09:04:26","date_gmt":"2026-10-25T06:04:26","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=500151"},"modified":"2026-10-25T09:04:26","modified_gmt":"2026-10-25T06:04:26","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=500151","title":{"rendered":"\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 LLM-\u0441\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 AMD Strix Halo: \u0437\u0430\u043f\u0443\u0441\u043a Qwen3.8-Flash-Next \u0447\u0435\u0440\u0435\u0437 HALOGEN \u0432 Fedora 43"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0415\u0449\u0451 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u00ab\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c LLM \u0443 \u0441\u0435\u0431\u044f\u00bb \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u043b\u043e \u043e\u0434\u043d\u043e: discrete GPU \u0441 \u043f\u0430\u0440\u043e\u0439 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 VRAM. AMD Strix Halo \u0441 128 \u0413\u0411 \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u044d\u0442\u0443 \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0443 \u043b\u043e\u043c\u0430\u0435\u0442 \u2014 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043d\u0451\u043c \u0437\u0430\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e, \u0435\u0441\u043b\u0438 inference-\u0434\u0432\u0438\u0436\u043e\u043a \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043e\u0431\u0449\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u044c\u044e, memory mapping \u0438 \u0441\u0432\u043e\u0435\u043e\u0431\u0440\u0430\u0437\u0438\u0435\u043c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439 \u0433\u0440\u0430\u0444\u0438\u043a\u0438.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 Qwen3.8-Flash-Next \u043d\u0430 Fedora 43 Server \u0447\u0435\u0440\u0435\u0437 HALOGEN: OpenAI-\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 API, \u043a\u043b\u044e\u0447, \u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0435\u0441\u0441\u0438\u0438 \u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0440\u0442 9091.<\/p>\n<h3>\u0427\u0442\u043e \u0437\u0430 \u0437\u0432\u0435\u0440\u044c Qwen3.8-Flash-Next<\/h3>\n<p>\u042d\u0442\u043e \u043d\u0435 \u00ab\u043e\u0431\u044b\u0447\u043d\u0430\u044f\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0436\u0435 \u043f\u043e \u043c\u0435\u0440\u043a\u0430\u043c MoE. \u0412\u043d\u0443\u0442\u0440\u0438 \u2014 \u0441\u043c\u0435\u0441\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (MoE), \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 N-gram embeddings. \u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">125 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u043e\u043a\u0435\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 6 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">N-gram embedding table<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 51 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MTP-head<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 4 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0451\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">48<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MoE-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">512 routed + 1 shared<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0445 routed-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">262 144 \u0442\u043e\u043a\u0435\u043d\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u043e 1 000 000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u0435\u043a\u0441\u0442 \u0438 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u0447\u0451\u043c \u0444\u043e\u043a\u0443\u0441 MoE: \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0451\u043c\u043a\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u0430\u044f, \u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u043e\u043d\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043c\u0430\u043b\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0443 \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 HALOGEN, \u0430 \u043d\u0435 llama.cpp<\/h3>\n<p>\u0423 Strix Halo unified memory architecture: CPU \u0438 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 GPU \u0434\u0435\u043b\u044f\u0442 \u043e\u0434\u043d\u0443 LPDDR5X-\u043f\u0430\u043c\u044f\u0442\u044c. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0439 VRAM, \u043a\u0430\u043a \u0443 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 NVIDIA \u0438\u043b\u0438 Radeon, \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442.<\/p>\n<p>HALOGEN \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0442\u0430\u043a\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e:<\/p>\n<ul>\n<li>\n<p>\u0437\u0430\u0442\u043e\u0447\u0435\u043d \u043f\u043e\u0434 GPU gfx1151;<\/p>\n<\/li>\n<li>\n<p>\u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0435\u0441\u0430 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 <code>.hgn<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442 \u0432\u0435\u0441\u043e\u0432 \u0432 \u00abVRAM\u00bb;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0435\u0440\u0436\u0438\u0442 N-gram lookup table \u0447\u0435\u0440\u0435\u0437 memory mapping;<\/p>\n<\/li>\n<li>\n<p>\u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e MTP\/speculative decoding;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0442\u0434\u0430\u0451\u0442 \u043d\u0430\u0440\u0443\u0436\u0443 OpenAI-\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 HTTP API.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 llama.cpp \u0438\u043b\u0438 vLLM \u2014 \u0432\u0441\u0435 \u0435\u0433\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0442\u0435\u043a\u0430\u044e\u0442 \u0438\u0437 \u0443\u0437\u043a\u043e\u0439 \u0437\u0430\u0442\u043e\u0447\u043a\u0438 \u043f\u043e\u0434 \u043e\u0434\u043d\u0443 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 GPU \u0438 \u043e\u0434\u043d\u0443 \u043b\u0438\u043d\u0435\u0439\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0418 \u0441\u0440\u0430\u0437\u0443 \u0432\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u0440\u043e BIOS: \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <strong>UMA Frame Buffer<\/strong> \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435 \u0432 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0430 \u043d\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435 Auto. HALOGEN \u043d\u0443\u0436\u0435\u043d \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0445\u043e\u0441\u0442\u0430, \u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0437\u0435\u0440\u0432 \u043f\u043e\u0434 iGPU \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0443\u044e RAM.<\/p>\n<h3>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0441\u0442\u0430 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0434\u0438\u0441\u043a\u0435<\/h3>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u0441\u043e\u0432 HALOGEN \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0424\u0430\u0439\u043b<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">qwen38-flash-next-v2.hgn<\/p>\n<\/td>\n<td>\n<p align=\"left\">62,1 GiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 checkpoint<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">qwen38-flash-next-ngram.hgn<\/p>\n<\/td>\n<td>\n<p align=\"left\">47,7 GiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">N-gram lookup table<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">tokenizer\/<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0412\u0441\u0435\u0433\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u043e\u043a\u043e\u043b\u043e 110 GiB<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0422\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">qwen38-flash-next-vision.hgn<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,84 GiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">qwen38-flash-next-mtp.hgn<\/p>\n<\/td>\n<td>\n<p align=\"left\">1,42 GiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">Draft-head \u0434\u043b\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0433\u043e GGUF<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 HALOGEN \u0441\u0430\u043c \u0441\u043a\u0430\u0447\u0430\u0435\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b, \u0435\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0435\u043c\u0443:<\/p>\n<pre><code class=\"bash\">-e HALOGEN_DOWNLOAD=peonist-ai\/halogen-qwen3.8-flash-next<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u0437\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0439\u0442\u0435 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 120\u2013140 \u0413\u0411: \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u0430\u043c\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0438 \u0437\u0430\u043f\u0430\u0441 \u043f\u043e\u0434 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n<h3>\u041a\u0430\u043a\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0434\u0430\u0442\u044c<\/h3>\n<p>\u041f\u043e <a href=\"https:\/\/github.com\/peonist-ai\/halogen-flash-server#readme\" rel=\"noopener nofollow\">\u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u043c<\/a> \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c HALOGEN \u043d\u0430 Strix Halo \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u044b \u0442\u0430\u043a\u0438\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 54 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u043b\u0430\u0433\u043e\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 speculative decoding<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u043e 94 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u043e 81 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f tool calls<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 71 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Prefill: \u043f\u0440\u043e\u043c\u043f\u0442 8K \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 1 821 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Prefill: \u043f\u0440\u043e\u043c\u043f\u0442 32K \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 1 740 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Prefill: \u043f\u0440\u043e\u043c\u043f\u0442 131K \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 1 675 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435? \u041d\u043e\u0432\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043d\u0430 32K \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0437\u0430 19 \u0441\u0435\u043a\u0443\u043d\u0434. \u0423\u0436\u0435 \u0437\u0430\u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 1 000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0438 54 \u0442\u043e\u043a\u0435\u043d\u0430\u0445\/\u0441 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0442\u0438\u0442\u044c\u0441\u044f \u0441\u0435\u043a\u0443\u043d\u0434 18\u201319. \u0410 \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u0435\u043a\u0441\u0442\u0430, \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b, speculative decoding \u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0435\u0449\u0451 \u0433\u0440\u0443\u0437\u0438\u0442 \u043c\u0430\u0448\u0438\u043d\u0443 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p>\u041f\u0440\u0438 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 HALOGEN \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0435\u043b\u0438\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0441\u0443\u0440\u0441 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0442\u043e\u043a\u0430\u043c\u0438. \u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 76 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0438 11\u201319 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043d\u0430 \u043f\u043e\u0442\u043e\u043a. \u0422\u0430\u043a \u0447\u0442\u043e \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u043b\u043e\u0442\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0434\u043b\u044f API-\u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u043d\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043e\u043d\u0438 \u043d\u0435 \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0442.<\/p>\n<h3>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b: \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430 \u0436\u0438\u0432\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435<\/h3>\n<p>\u0426\u0438\u0444\u0440\u044b \u0438\u0437 readme \u2014 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u043f\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442\u0443. \u041f\u043e\u0434\u043e\u0448\u0451\u043b LLMPerf \u043e\u0442 ray-project: \u043e\u043d \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0438\u0437 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043a\u0443\u0441\u043a\u043e\u0432 \u0428\u0435\u043a\u0441\u043f\u0438\u0440\u0430 \u0438 \u043c\u0435\u0440\u044f\u0435\u0442 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0432\u0440\u0435\u043c\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (TTFT) \u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 (ITL) \u2014 \u0438\u0437 \u043d\u0438\u0445 \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0438\u0441\u0438.<\/p>\n<p>\u041f\u043e \u0445\u043e\u0434\u0443 \u0434\u0435\u043b\u0430 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438\u0441\u044c \u0434\u0432\u0435 \u0433\u0440\u0430\u0431\u043b\u0438, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0437\u043d\u0430\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435:<\/p>\n<ul>\n<li>\n<p><strong>SSE-\u043f\u0430\u0440\u0441\u0435\u0440 llmperf \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0430\u0442\u0447\u0438\u0442\u044c.<\/strong> \u041d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u043f\u0440\u0438 c=4 \u0441\u0442\u0440\u0438\u043c \u043c\u043e\u043b\u0447\u0438\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043e\u043b\u0433\u043e, \u0438 \u043f\u0440\u043e\u043a\u0441\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u043b\u0430\u0442\u044c keep-alive (<code>:ping<\/code>), \u043e\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0438\u0432\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0435\u0440 \u043f\u0430\u0434\u0430\u0435\u0442. \u041b\u0435\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e: \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a\u0438 <code>data:<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c \u2014 reasoning-\u043c\u043e\u0434\u0435\u043b\u044c.<\/strong> \u041e\u043d\u0430 \u00ab\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u044f\u0435\u0442\u00bb \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u0432\u0435\u0442\u043e\u043c (\u043f\u043e\u043b\u0435 <code>reasoning_content<\/code>), \u0438 \u044d\u0442\u0438 \u043f\u0430\u0443\u0437\u044b \u0438\u0441\u043a\u0430\u0436\u0430\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: \u043d\u0430 128k \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0436\u0430\u043b\u043a\u0438\u0435 2.6 \u0442\u043e\u043a\/\u0441 \u0437\u0430\u043f\u0438\u0441\u0438. \u041e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0448\u0442\u0430\u0442\u043d\u044b\u043c \u0434\u043b\u044f Qwen3 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>chat_template_kwargs: {\"enable_thinking\": false}<\/code>, \u0430 \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u043b\u0430\u0441\u044c \u043f\u043e EOS \u043f\u043e\u0441\u043b\u0435 \u043f\u0430\u0440\u044b \u0441\u043e\u0442\u0435\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u043b\u0438 <code>ignore_eos: true<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0435\u0440\u0438\u044f \u2014 reasoning OFF, \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a, \u0432\u044b\u0445\u043e\u0434 = 1\/10 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, 12 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0412\u044b\u0445\u043e\u0434 (\u0444\u0430\u043a\u0442)<\/p>\n<\/th>\n<th>\n<p align=\"left\">TTFT p50<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u0430\u043f\u0438\u0441\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">E2E p50<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8k<\/p>\n<\/td>\n<td>\n<p align=\"left\">888<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.2 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 965 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>96.4 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">13.3 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">16k<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 775<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.1 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 040 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>98.1 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">26.6 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">32k<\/p>\n<\/td>\n<td>\n<p align=\"left\">3 571<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.1 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 048 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>96.5 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">53.4 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">64k<\/p>\n<\/td>\n<td>\n<p align=\"left\">7 203<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.3 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 035 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>96.5 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">121 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">128k<\/p>\n<\/td>\n<td>\n<p align=\"left\">14 518<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.0 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 992 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>94.5 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">230 \u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0442\u043e \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442:<\/p>\n<ul>\n<li>\n<p><strong>\u0417\u0430\u043f\u0438\u0441\u044c \u2014 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430 ~95\u201398 \u0442\u043e\u043a\/\u0441<\/strong> \u043d\u0430 \u0432\u0441\u0451\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u00ab\u0414\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u00bb \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u2014 \u0435\u0451 \u0438\u043c\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u0430\u0443\u0437\u044b \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 (\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0434\u043e 36\u00d7). \u0418 \u043e\u0431\u0435\u0449\u0430\u043d\u043d\u044b\u0435 \u0434\u043e 94 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0432 \u0431\u043b\u0430\u0433\u043e\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u2014 \u043d\u0435 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433: \u0444\u043e\u0440\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0442\u0440\u0438\u043c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0434\u0430\u0451\u0442 ~96.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0442\u0435\u043d\u0438\u0435 \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435, ~2 000 \u0442\u043e\u043a\/\u0441.<\/strong> TTFT \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c (4.2 \u0441 \u043d\u0430 8k \u2192 66 \u0441 \u043d\u0430 128k), \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0447\u0442\u0435\u043d\u0438\u0435 \u0437\u0434\u0435\u0441\u044c \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u043a\u0430\u043a \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043e.<\/strong> \u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b \u043f\u0440\u0438 c=4 \u0434\u0430\u044e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0433\u043e throughput (+27% \u043a \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c\u0443 \u043f\u043e\u0442\u043e\u043a\u0443), \u043d\u043e \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e TTFT \u0432 2\u20135 \u0440\u0430\u0437, \u0430 c=16 \u0441\u0435\u0440\u0432\u0435\u0440 \u0443\u0436\u0435 \u043d\u0435 \u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u0442. \u0414\u043b\u0438\u043d\u043d\u044b\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u0441\u043b\u0430\u0442\u044c \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f (\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 + \u043e\u0442\u0432\u0435\u0442 ~150 \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0448\u0430\u0433 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~6 \u0441 \u043f\u0440\u0438 8k, ~18 \u0441 \u043f\u0440\u0438 32k \u0438 ~68 \u0441 \u043f\u0440\u0438 128k \u2014 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u044b\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0433\u0434\u0435-\u0442\u043e \u0434\u043e 32k.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0410 \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c reasoning \u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c?<\/h4>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u043a\u0430\u0440\u0442\u0438\u043d\u044b \u0442\u0443 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 \u0438 \u0441 \u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043d\u044f\u0442\u043d\u0430\u044f:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">Reasoning ON<\/p>\n<\/th>\n<th>\n<p align=\"left\">Reasoning OFF<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0417\u0430\u043f\u0438\u0441\u044c @ 8k, \u0444\u043e\u0440\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">~90\u201399 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">96.4 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0417\u0430\u043f\u0438\u0441\u044c @ 8k, \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.6 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0417\u0430\u043f\u0438\u0441\u044c @ 128k, \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.6 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>94.5 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TTFT \u0434\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 \u043d\u0430 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.76 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.18\u20130.35 \u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u043e\u043d\u043a\u043e\u0441\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0437\u0434\u0435\u0441\u044c \u0438\u0441\u043a\u0430\u0436\u0430\u0435\u0442 \u0441\u0430\u043c \u0441\u043f\u043e\u0441\u043e\u0431 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f. TTFT \u043e\u0442\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e <em>\u043a\u043e\u043d\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e<\/em> \u0442\u043e\u043a\u0435\u043d\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432\u0441\u0435 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0410 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0432\u043a\u043b\u0438\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0430\u0443\u0437\u044b \u00ab\u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c\u00bb \u2014 \u043d\u0430 128k \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043e\u0445\u043e\u0434\u0438\u0442 \u0434\u043e 378 \u043c\u0441, \u0447\u0442\u043e \u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u043a\u0430\u043a \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u0434\u043e 2.6 \u0442\u043e\u043a\/\u0441. \u041f\u0440\u0438 \u0444\u043e\u0440\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u044b\u0432\u043e\u0434\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u0430\u0443\u0437\u044b \u0432\u044b\u043c\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043f\u043b\u043e\u0448\u043d\u044b\u043c \u0441\u0442\u0440\u0438\u043c\u043e\u043c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 reasoning OFF (~90\u201399 \u043f\u0440\u043e\u0442\u0438\u0432 96.4 \u0442\u043e\u043a\/\u0441): \u0442\u043e\u043a\u0435\u043d\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0442\u0430\u043a \u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u043e \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0443\u043c\u0430\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438.<\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 \u0441\u0442\u0440\u0438\u043c \u2014 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0439\u0442\u0435 thinking. \u0415\u0441\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0430\u0436\u043d\u0435\u0435 latency \u2014 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435, \u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u0435, \u0447\u0442\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 reasoning \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e EOS \u0443\u0436\u0435 \u043d\u0430 85\u2013365 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0442\u0430\u043a \u0447\u0442\u043e \u00ab\u0447\u0435\u0441\u0442\u043d\u0443\u044e\u00bb \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0432\u044b \u0432 \u044d\u0442\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0443\u0432\u0438\u0434\u0438\u0442\u0435.<\/p>\n<p>\u0418 \u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0431\u043e\u043d\u0443\u0441: \u0437\u0430 \u0432\u0441\u0451 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u2014 150+ \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0430\u0442\u0447\u0430 \u043f\u0430\u0440\u0441\u0435\u0440\u0430 \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430.<\/p>\n<h3>\u0413\u043e\u0442\u043e\u0432\u0438\u043c Fedora 43 Server<\/h3>\n<p>\u0421\u0442\u0430\u0432\u0438\u043c Podman \u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0443\u0442\u0438\u043b\u0438\u0442\u044b:<\/p>\n<pre><code class=\"bash\">sudo dnf upgrade --refresh -ysudo dnf install -y podman curl pciutilssudo reboot<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0434\u0440\u0430\u0439\u0432\u0435\u0440 \u0438 GPU-\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430:<\/p>\n<pre><code class=\"bash\">lspci -nnk | grep -A 4 -Ei 'VGA|Display|3D'ls -l \/dev\/kfd \/dev\/dri\/renderD*free -h<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 GPU \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0433\u0440\u0443\u043f\u043f\u044b <code>render<\/code> \u0438 <code>video<\/code>:<\/p>\n<pre><code class=\"bash\">sudo usermod -aG render,video \"$USER\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u0432\u0430\u0436\u043d\u0430\u044f \u043c\u0435\u043b\u043e\u0447\u044c, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u043e \u0437\u0430\u0431\u044b\u0432\u0430\u044e\u0442: \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u0435 SSH-\u0441\u0435\u0430\u043d\u0441 \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u0441\u044c \u0437\u0430\u043d\u043e\u0432\u043e, \u0438\u043d\u0430\u0447\u0435 \u043d\u043e\u0432\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u043d\u0435 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u044f\u0442\u0441\u044f.<\/p>\n<h3>\u0421\u043e\u0437\u0434\u0430\u0451\u043c API-\u043a\u043b\u044e\u0447<\/h3>\n<p>HALOGEN \u0443\u043c\u0435\u0435\u0442 \u0437\u0430\u0449\u0438\u0449\u0430\u0442\u044c API \u0447\u0435\u0440\u0435\u0437 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e <code>HALOGEN_API_KEY<\/code>. \u041a\u043b\u0438\u0435\u043d\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u0435\u0451 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u043c:<\/p>\n<pre><code>Authorization: Bearer \u0412\u0410\u0428_\u041a\u041b\u042e\u0427<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0444\u0430\u0439\u043b \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0441 \u043f\u0440\u0430\u0432\u0430\u043c\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f:<\/p>\n<pre><code class=\"bash\">mkdir -p \"$HOME\/.config\/halogen\" \"$HOME\/halogen-models\"chmod 700 \"$HOME\/.config\/halogen\"(  umask 077  if [ ! -f \"$HOME\/.config\/halogen\/server.env\" ]; then    printf 'HALOGEN_API_KEY=%s\\n' \\      \"$(head -c 32 \/dev\/urandom | od -An -tx1 | tr -d ' \\n')\" \\      &gt; \"$HOME\/.config\/halogen\/server.env\"  fi)chmod 600 \"$HOME\/.config\/halogen\/server.env\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043b\u044e\u0447 \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a:<\/p>\n<pre><code class=\"bash\">cat \"$HOME\/.config\/halogen\/server.env\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0418 \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u043e\u0435, \u043d\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0435: \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0439\u0442\u0435 \u044d\u0442\u043e\u0442 \u0444\u0430\u0439\u043b \u0432 Git, \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u0430\u0439\u0442\u0435 \u0432 \u043c\u0435\u0441\u0441\u0435\u043d\u0434\u0436\u0435\u0440\u0430\u0445 \u0438 \u043d\u0435 \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u0432 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.<\/p>\n<h3>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c HALOGEN \u0441 \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u0435\u0441\u0441\u0438\u044f\u043c\u0438<\/h3>\n<p>HALOGEN \u0441\u043b\u0443\u0448\u0430\u0435\u0442 \u043f\u043e\u0440\u0442 8731 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430. \u0415\u0441\u043b\u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 API \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0447\u0435\u0440\u0435\u0437 9091, \u043f\u043e\u0440\u0442-\u043c\u0430\u043f\u043f\u0438\u043d\u0433 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a: <strong>9091 \u043d\u0430 \u0445\u043e\u0441\u0442\u0435 \u2192 8731 \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435<\/strong>.<\/p>\n<p>\u041a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430:<\/p>\n<pre><code class=\"bash\">podman run -d \\  --name halogen \\  -p 0.0.0.0:9091:8731 \\  --device \/dev\/kfd \\  --device \/dev\/dri \\  --group-add keep-groups \\  --security-opt label=disable \\  --ipc=host \\  --ulimit memlock=-1:-1 \\  --env-file \"$HOME\/.config\/halogen\/server.env\" \\  -e HALOGEN_KV_SLOTS=4 \\  -e HALOGEN_DOWNLOAD=peonist-ai\/halogen-qwen3.8-flash-next \\  -v \"$HOME\/halogen-models:\/models\" \\  ghcr.io\/peonist-ai\/halogen-flash-server:0.18.5<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h4>\u0427\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0447\u0442\u043e<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>-p 0.0.0.0:9091:8731<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442 API \u043d\u0430\u0440\u0443\u0436\u0443 \u043d\u0430 \u043f\u043e\u0440\u0442\u0443 9091<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--device \/dev\/kfd<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e\u0441\u0442\u0443\u043f \u043a AMD Compute Runtime<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--device \/dev\/dri<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e\u0441\u0442\u0443\u043f \u043a DRM\/GPU<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--group-add keep-groups<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0443 \u043f\u0440\u0430\u0432\u0430 \u0433\u0440\u0443\u043f\u043f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--security-opt label=disable<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0445\u043e\u0434 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439 SELinux-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u043b\u044f GPU-\u0434\u043e\u0441\u0442\u0443\u043f\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--ipc=host<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0449\u0438\u0439 IPC namespace, \u043a\u0430\u043a \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442 quickstart-\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--ulimit memlock=-1:-1<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u0438\u043c\u0438\u0442 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>HALOGEN_KV_SLOTS=4<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>HALOGEN_DOWNLOAD=...<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u0442\u0430\u0440\u0442\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--env-file<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442 API-\u043a\u043b\u044e\u0447, \u043d\u0435 \u0441\u0432\u0435\u0442\u044f \u0438\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0445\u043e\u0434 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<pre><code class=\"bash\">podman logs -f halogen<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0418 \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u044e\u0449\u0438\u0439 \u0448\u0442\u0440\u0438\u0445 \u2014 \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430. \u0420\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0444\u043e\u043d\u0435, \u0438\u043d\u0430\u0447\u0435 \u043f\u0440\u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0438 SSH-\u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u0441\u044f:<\/p>\n<pre><code class=\"bash\">sudo loginctl enable-linger \"$USER\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 nvtop \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435\u0433\u043e ~27 \u0413\u0411 \u00ab\u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438\u00bb<\/h3>\n<p>\u041d\u0430 Strix Halo \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f nvtop \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u0432\u044b\u0437\u044b\u0432\u0430\u044e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 110 \u0413\u0438\u0411 \u043d\u0430 SSD, \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 checkpoint \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 62 \u0413\u0438\u0411 \u0440\u0435\u0437\u0438\u0434\u0435\u043d\u0442\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u2014 \u0430 nvtop \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e ~27 \u0413\u0411 GPU memory.<\/p>\n<p>\u042d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0438 \u0432\u043e\u0442 \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0439 VRAM \u0443 Strix Halo \u043d\u0435\u0442: iGPU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 RAM \u0445\u043e\u0441\u0442\u0430, \u0438 HALOGEN \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u043e\u0431\u044a\u0451\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u0430\u043a \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0443\u044e GPU VRAM. \u041f\u0430\u043c\u044f\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a:<\/p>\n<ul>\n<li>\n<p>\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0436\u0438\u0432\u0443\u0442 \u0432 \u0440\u0435\u0437\u0438\u0434\u0435\u043d\u0442\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442 \u043e\u043a\u043e\u043b\u043e 62 \u0413\u0438\u0411;<\/p>\n<\/li>\n<li>\n<p>N-gram table \u043d\u0430 47,7 \u0413\u0438\u0411 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0430 \u0447\u0435\u0440\u0435\u0437 mmap \u2014 Linux \u043f\u043e\u0434\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442 \u0435\u0451 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u043e \u043c\u0435\u0440\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0438 \u0433\u0440\u0435\u0435\u0442 \u0438\u0445 \u0432 page cache.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 nvtop \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u044b \u0431\u0443\u0444\u0435\u0440\u044b GPU, \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, KV-cache \u0438 \u0447\u0430\u0441\u0442\u044c GPU memory mapping. \u041f\u0440\u0438 <code>HALOGEN_KV_SLOTS=4<\/code> \u0437\u0430\u043c\u0435\u0442\u043d\u0443\u044e \u0434\u043e\u043b\u044e \u0442\u0435\u0445 \u0441\u0430\u043c\u044b\u0445 ~27 \u0413\u0411 \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u043e\u0431\u0449\u0438\u0439 KV-pool \u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u043b\u043e\u0442\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a \u0447\u0442\u043e \u0446\u0438\u0444\u0440\u0430 \u0432 nvtop \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0430\u0441\u044c \u00ab\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 27 \u0413\u0411\u00bb \u0438\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435 \u0432 \u043f\u043e\u043b\u043d\u0443\u044e \u0441\u0438\u043b\u0443.<\/p>\n<h3>\u0420\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 YaRN<\/h3>\n<p>\u041d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 262 144 \u0442\u043e\u043a\u0435\u043d\u0430, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u0442\u043e\u043b\u043e\u043a. HALOGEN \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0441\u0442\u044f\u0433\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0447\u0435\u0440\u0435\u0437 YaRN, \u0438 \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f \u044d\u0442\u043e \u0434\u0432\u0443\u043c\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f:<\/p>\n<pre><code class=\"bash\">-e HALOGEN_ROPE_YARN=4 \\-e HALOGEN_CTX=1048576 \\<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0412 \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u044b\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u0441 262 144 \u0434\u043e 1 048 576 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412\u0430\u0436\u043d\u043e: \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c.<\/p>\n<p>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435? \u0416\u0438\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 \u043f\u0440\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0438 \u043e\u0434\u043d\u043e\u043c \u0441\u043b\u043e\u0442\u0435: HALOGEN \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 36,7 \u0413\u0438\u0411 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c nvtop \u0438 38,9 \u0413\u0438\u0411 \u043f\u043e htop (\u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u2014 \u043e\u043a\u043e\u043b\u043e 27 \u0413\u0438\u0411 \u0432 nvtop \u043d\u0430 \u043d\u0430\u0442\u0438\u0432\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0441 \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u0441\u043b\u043e\u0442\u0430\u043c\u0438). \u0422\u043e \u0435\u0441\u0442\u044c \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u043e\u043b\u043d\u0435 \u0443\u044e\u0442\u043d\u043e. \u041d\u043e \u00ab\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f\u00bb \u0438 \u00ab\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0441\u0442\u0430\u043d\u0446\u0438\u044f\u00bb \u2014 \u0432\u0435\u0449\u0438 \u0440\u0430\u0437\u043d\u044b\u0435: \u0435\u0441\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u0430 \u043d\u0443\u0436\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u043d\u0446\u0438\u044f \u0441 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0437\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 96 \u0413\u0438\u0411 \u043f\u0430\u043c\u044f\u0442\u0438 \u2014 \u043f\u043e\u0434 \u0432\u0435\u0441\u0430, \u0432\u044b\u0440\u043e\u0441\u0448\u0438\u0439 KV-\u043f\u0443\u043b \u0438 \u0437\u0430\u043f\u0430\u0441 \u043f\u043e\u0434 page cache. 128-\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u043d\u044b\u0439 Strix Halo \u0442\u0430\u043a\u043e\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c, \u0430 \u043d\u0430 64 \u0413\u0411 \u0437\u0430\u043c\u0430\u0445\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0443\u0436\u0435 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442.<\/p>\n<p>\u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0437\u0430\u0445\u043e\u0434\u0430 \u0441 \u0442\u0430\u043a\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0441\u043e\u0432\u0435\u0442\u0443\u044e \u043e\u0434\u0438\u043d \u0441\u043b\u043e\u0442 (<code>HALOGEN_KV_SLOTS=1<\/code>) \u2014 \u043d\u0435\u0437\u0430\u0447\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c \u0438 \u0431\u0435\u0437 \u0442\u043e\u0433\u043e \u0440\u0430\u0441\u0442\u044f\u043d\u0443\u0442\u044b\u0439 KV-\u043f\u0443\u043b \u043c\u0435\u0436\u0434\u0443 \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438. \u0412\u0435\u0441\u0430 \u0438\u0437 <code>$HOME\/halogen-models<\/code> \u0438 API-\u043a\u043b\u044e\u0447 \u0438\u0437 env-\u0444\u0430\u0439\u043b\u0430 \u043d\u0438\u043a\u0443\u0434\u0430 \u043d\u0435 \u0434\u0435\u043d\u0443\u0442\u0441\u044f, \u043d\u0438\u0447\u0435\u0433\u043e \u0437\u0430\u043d\u043e\u0432\u043e \u043a\u0430\u0447\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f. \u0410 \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440, \u0432\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0432\u0435\u0434\u0451\u043c \u043f\u043e\u0434 \u0434\u0440\u0443\u0433\u0438\u043c \u0438\u043c\u0435\u043d\u0435\u043c \u2014 <code>halogen-yarn<\/code>:<\/p>\n<pre><code class=\"bash\">podman run -d \\  --name halogen-yarn \\  -p 0.0.0.0:9091:8731 \\  --device \/dev\/kfd \\  --device \/dev\/dri \\  --group-add keep-groups \\  --security-opt label=disable \\  --ipc=host \\  --ulimit memlock=-1:-1 \\  --env-file \"$HOME\/.config\/halogen\/server.env\" \\  -e HALOGEN_KV_SLOTS=1 \\  -e HALOGEN_ROPE_YARN=4 \\  -e HALOGEN_CTX=1048576 \\  -e HALOGEN_DOWNLOAD=peonist-ai\/halogen-qwen3.8-flash-next \\  -v \"$HOME\/halogen-models:\/models\" \\  ghcr.io\/peonist-ai\/halogen-flash-server:0.18.5<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043d\u044e\u0430\u043d\u0441: \u0435\u0441\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 <code>halogen<\/code> \u0432\u0441\u0451 \u0435\u0449\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e\u0440\u0442 9091 \u0443 \u043d\u0435\u0433\u043e \u0437\u0430\u043d\u044f\u0442 \u2014 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 \u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c \u0432\u0442\u043e\u0440\u043e\u0433\u043e, \u0434\u0432\u0430 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u043d\u0435 \u0441\u043c\u043e\u0433\u0443\u0442 \u0441\u043b\u0443\u0448\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u0442.<\/p>\n<h3>\u041d\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0439\u0442\u0435 HTTP API \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0431\u0435\u0437 TLS<\/h3>\n<p>API-\u043a\u043b\u044e\u0447 \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u0442 \u0441\u0435\u0440\u0432\u0435\u0440 \u043e\u0442 \u0447\u0443\u0436\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043d\u043e \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043e\u043d \u043d\u0435 \u0443\u043c\u0435\u0435\u0442. \u041f\u043e \u0447\u0438\u0441\u0442\u043e\u043c\u0443 HTTP \u0442\u043e\u043a\u0435\u043d \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u043b\u044e\u0431\u043e\u0439, \u043a\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u043f\u043e \u043f\u0443\u0442\u0438.<\/p>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f production-\u0441\u0445\u0435\u043c\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code>\u0418\u043d\u0442\u0435\u0440\u043d\u0435\u0442    \u2193 HTTPS :9091Caddy \/ Nginx \/ Traefik    \u2193 HTTP 127.0.0.1:8731HALOGEN<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h3>\u0412\u043c\u0435\u0441\u0442\u043e \u0438\u0442\u043e\u0433\u0430<\/h3>\n<p>\u0421\u0432\u044f\u0437\u043a\u0430 \u0438\u0437 AMD Strix Halo, 128 \u0413\u0411 RAM, Fedora 43 Server \u0438 HALOGEN \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 API \u0434\u043b\u044f Qwen3.8-Flash-Next \u2014 \u0431\u0435\u0437 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0439 GPU. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f:<\/p>\n<ul>\n<li>\n<p>MoE-\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 125B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441 6B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d;<\/p>\n<\/li>\n<li>\n<p>\u043e\u043a\u043e\u043b\u043e 110 \u0413\u0438\u0411 \u0432\u0435\u0441\u043e\u0432 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435;<\/p>\n<\/li>\n<li>\n<p>50+ \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430 \u043d\u0430 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u043e\u043c reasoning;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043e \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0439 \u0447\u0435\u0440\u0435\u0437 <code>HALOGEN_KV_SLOTS=4<\/code>;<\/p>\n<\/li>\n<li>\n<p>OpenAI-\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0435 <code>\/v1\/chat\/completions<\/code>, <code>\/v1\/completions<\/code> \u0438 <code>\/v1\/responses<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043e\u0441\u0442\u0443\u043f \u0438\u0437\u0432\u043d\u0435 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0440\u0442 9091;<\/p>\n<\/li>\n<li>\n<p>\u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 <code>HALOGEN_API_KEY<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u044d\u0442\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043e\u0442 \u00ab\u043f\u0440\u043e\u0441\u0442\u043e LLM-\u0441\u0435\u0440\u0432\u0435\u0440\u0430\u00bb \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 UMA-\u043f\u0430\u043c\u044f\u0442\u044c\u044e: \u043d\u0438\u0437\u043a\u0438\u0439 UMA carve-out \u0432 BIOS, \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0440\u043e\u043b\u0438 memory-mapped N-gram table \u0438 \u043e\u0442\u043a\u0430\u0437 \u043e\u0442 \u0438\u0434\u0435\u0438 \u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f nvtop \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u043f\u0430\u043c\u044f\u0442\u0438, \u0437\u0430\u043d\u044f\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1098996\/\">https:\/\/habr.com\/ru\/articles\/1098996\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0415\u0449\u0451 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u00ab\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c LLM \u0443 \u0441\u0435\u0431\u044f\u00bb \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u043b\u043e \u043e\u0434\u043d\u043e: discrete GPU \u0441 \u043f\u0430\u0440\u043e\u0439 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 VRAM. AMD Strix Halo \u0441 128 \u0413\u0411 \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u044d\u0442\u0443 \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0443 \u043b\u043e\u043c\u0430\u0435\u0442 \u2014 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043d\u0451\u043c \u0437\u0430\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e, \u0435\u0441\u043b\u0438 inference-\u0434\u0432\u0438\u0436\u043e\u043a \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043e\u0431\u0449\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u044c\u044e, memory mapping \u0438 \u0441\u0432\u043e\u0435\u043e\u0431\u0440\u0430\u0437\u0438\u0435\u043c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439 \u0433\u0440\u0430\u0444\u0438\u043a\u0438.\u041d\u0438\u0436\u0435 \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 Qwen3.8-Flash-Next \u043d\u0430 Fedora 43 Server \u0447\u0435\u0440\u0435\u0437 HALOGEN: OpenAI-\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 API, \u043a\u043b\u044e\u0447, \u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0435\u0441\u0441\u0438\u0438 \u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0440\u0442 9091.\u0427\u0442\u043e \u0437\u0430 \u0437\u0432\u0435\u0440\u044c Qwen3.8-Flash-Next\u042d\u0442\u043e \u043d\u0435 \u00ab\u043e\u0431\u044b\u0447\u043d\u0430\u044f\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0436\u0435 \u043f\u043e \u043c\u0435\u0440\u043a\u0430\u043c MoE. \u0412\u043d\u0443\u0442\u0440\u0438 \u2014 \u0441\u043c\u0435\u0441\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 (MoE), \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 N-gram embeddings. \u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e:\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c125 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u0410\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u043a\u043e\u043b\u043e 6 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432N-gram embedding table\u043e\u043a\u043e\u043b\u043e 51 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432MTP-head\u043e\u043a\u043e\u043b\u043e 4 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0451\u043248MoE-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432512 routed + 1 shared\u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0445 routed-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u043210\u041d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442262 144 \u0442\u043e\u043a\u0435\u043d\u0430\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0434\u043e 1 000 000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438\u0442\u0435\u043a\u0441\u0442 \u0438 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0412 \u0447\u0451\u043c \u0444\u043e\u043a\u0443\u0441 MoE: \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0451\u043c\u043a\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u0430\u044f, \u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u043e\u043d\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043c\u0430\u043b\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0443 \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.\u041f\u043e\u0447\u0435\u043c\u0443 HALOGEN, \u0430 \u043d\u0435 llama.cpp\u0423 Strix Halo unified memory architecture: CPU \u0438 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 GPU \u0434\u0435\u043b\u044f\u0442 \u043e\u0434\u043d\u0443 LPDDR5X-\u043f\u0430\u043c\u044f\u0442\u044c. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0439 VRAM, \u043a\u0430\u043a \u0443 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 NVIDIA \u0438\u043b\u0438 Radeon, \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442.HALOGEN \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0442\u0430\u043a\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e:\u0437\u0430\u0442\u043e\u0447\u0435\u043d \u043f\u043e\u0434 GPU gfx1151;\u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0435\u0441\u0430 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 .hgn;\u043d\u0435 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442 \u0432\u0435\u0441\u043e\u0432 \u0432 \u00abVRAM\u00bb;\u0434\u0435\u0440\u0436\u0438\u0442 N-gram lookup table \u0447\u0435\u0440\u0435\u0437 memory mapping;\u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e MTP\/speculative decoding;\u043e\u0442\u0434\u0430\u0451\u0442 \u043d\u0430\u0440\u0443\u0436\u0443 OpenAI-\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 HTTP API.\u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 llama.cpp \u0438\u043b\u0438 vLLM \u2014 \u0432\u0441\u0435 \u0435\u0433\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0442\u0435\u043a\u0430\u044e\u0442 \u0438\u0437 \u0443\u0437\u043a\u043e\u0439 \u0437\u0430\u0442\u043e\u0447\u043a\u0438 \u043f\u043e\u0434 \u043e\u0434\u043d\u0443 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 GPU \u0438 \u043e\u0434\u043d\u0443 \u043b\u0438\u043d\u0435\u0439\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.\u0418 \u0441\u0440\u0430\u0437\u0443 \u0432\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u0440\u043e BIOS: \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 UMA Frame Buffer \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435 \u0432 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0430 \u043d\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435 Auto. HALOGEN \u043d\u0443\u0436\u0435\u043d \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0445\u043e\u0441\u0442\u0430, \u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0437\u0435\u0440\u0432 \u043f\u043e\u0434 iGPU \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0443\u044e RAM.\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0441\u0442\u0430 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0434\u0438\u0441\u043a\u0435\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u0441\u043e\u0432 HALOGEN \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:\u0424\u0430\u0439\u043b\u0420\u0430\u0437\u043c\u0435\u0440\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435qwen38-flash-next-v2.hgn62,1 GiB\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 checkpointqwen38-flash-next-ngram.hgn47,7 GiBN-gram lookup tabletokenizer\/\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0412\u0441\u0435\u0433\u043e\u043e\u043a\u043e\u043b\u043e 110 GiB\u0422\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044cqwen38-flash-next-vision.hgn0,84 GiB\u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439qwen38-flash-next-mtp.hgn1,42 GiBDraft-head \u0434\u043b\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0433\u043e GGUF\u041f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 HALOGEN \u0441\u0430\u043c \u0441\u043a\u0430\u0447\u0430\u0435\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b, \u0435\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0435\u043c\u0443:-e HALOGEN_DOWNLOAD=peonist-ai\/halogen-qwen3.8-flash-next\u0421\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u0437\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0439\u0442\u0435 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 120\u2013140 \u0413\u0411: \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u0430\u043c\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0438 \u0437\u0430\u043f\u0430\u0441 \u043f\u043e\u0434 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.\u041a\u0430\u043a\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0434\u0430\u0442\u044c\u041f\u043e \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c HALOGEN \u043d\u0430 Strix Halo \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u044b \u0442\u0430\u043a\u0438\u0435:\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0439\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430\u043e\u043a\u043e\u043b\u043e 54 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441\u0411\u043b\u0430\u0433\u043e\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 speculative decoding\u0434\u043e 94 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u043e\u0434\u0430\u0434\u043e 81 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f tool calls\u043e\u043a\u043e\u043b\u043e 71 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441Prefill: \u043f\u0440\u043e\u043c\u043f\u0442 8K \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u043e\u043a\u043e\u043b\u043e 1 821 \u0442\u043e\u043a\u0435\u043d\u0430\/\u0441Prefill: \u043f\u0440\u043e\u043c\u043f\u0442 32K \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u043e\u043a\u043e\u043b\u043e 1 740 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441Prefill: \u043f\u0440\u043e\u043c\u043f\u0442 131K \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u043e\u043a\u043e\u043b\u043e 1 675 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435? \u041d\u043e\u0432\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043d\u0430 32K \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0437\u0430 19 \u0441\u0435\u043a\u0443\u043d\u0434. \u0423\u0436\u0435 \u0437\u0430\u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 1 000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0438 54 \u0442\u043e\u043a\u0435\u043d\u0430\u0445\/\u0441 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0442\u0438\u0442\u044c\u0441\u044f \u0441\u0435\u043a\u0443\u043d\u0434 18\u201319. \u0410 \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u0435\u043a\u0441\u0442\u0430, \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b, speculative decoding \u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0435\u0449\u0451 \u0433\u0440\u0443\u0437\u0438\u0442 \u043c\u0430\u0448\u0438\u043d\u0443 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e.\u041f\u0440\u0438 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 HALOGEN \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0435\u043b\u0438\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0441\u0443\u0440\u0441 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0442\u043e\u043a\u0430\u043c\u0438. \u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 76 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0438 11\u201319 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u043d\u0430 \u043f\u043e\u0442\u043e\u043a. \u0422\u0430\u043a \u0447\u0442\u043e \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u043b\u043e\u0442\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0434\u043b\u044f API-\u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u043d\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043e\u043d\u0438 \u043d\u0435 \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0442.\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b: \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430 \u0436\u0438\u0432\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435\u0426\u0438\u0444\u0440\u044b \u0438\u0437 readme \u2014 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u043f\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442\u0443. \u041f\u043e\u0434\u043e\u0448\u0451\u043b LLMPerf \u043e\u0442 ray-project: \u043e\u043d \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0438\u0437 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043a\u0443\u0441\u043a\u043e\u0432 \u0428\u0435\u043a\u0441\u043f\u0438\u0440\u0430 \u0438 \u043c\u0435\u0440\u044f\u0435\u0442 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0432\u0440\u0435\u043c\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (TTFT) \u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 (ITL) \u2014 \u0438\u0437 \u043d\u0438\u0445 \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0438\u0441\u0438.\u041f\u043e \u0445\u043e\u0434\u0443 \u0434\u0435\u043b\u0430 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438\u0441\u044c \u0434\u0432\u0435 \u0433\u0440\u0430\u0431\u043b\u0438, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0437\u043d\u0430\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435:SSE-\u043f\u0430\u0440\u0441\u0435\u0440 llmperf \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0430\u0442\u0447\u0438\u0442\u044c. \u041d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u043f\u0440\u0438 c=4 \u0441\u0442\u0440\u0438\u043c \u043c\u043e\u043b\u0447\u0438\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043e\u043b\u0433\u043e, \u0438 \u043f\u0440\u043e\u043a\u0441\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u043b\u0430\u0442\u044c keep-alive (:ping), \u043e\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0438\u0432\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0435\u0440 \u043f\u0430\u0434\u0430\u0435\u0442. \u041b\u0435\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e: \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a\u0438 data:.\u041c\u043e\u0434\u0435\u043b\u044c \u2014 reasoning-\u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u043d\u0430 \u00ab\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u044f\u0435\u0442\u00bb \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u0432\u0435\u0442\u043e\u043c (\u043f\u043e\u043b\u0435 reasoning_content), \u0438 \u044d\u0442\u0438 \u043f\u0430\u0443\u0437\u044b \u0438\u0441\u043a\u0430\u0436\u0430\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: \u043d\u0430 128k \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0436\u0430\u043b\u043a\u0438\u0435 2.6 \u0442\u043e\u043a\/\u0441 \u0437\u0430\u043f\u0438\u0441\u0438. \u041e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0448\u0442\u0430\u0442\u043d\u044b\u043c \u0434\u043b\u044f Qwen3 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c chat_template_kwargs: {&#171;enable_thinking&#187;: false}, \u0430 \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u043b\u0430\u0441\u044c \u043f\u043e EOS \u043f\u043e\u0441\u043b\u0435 \u043f\u0430\u0440\u044b \u0441\u043e\u0442\u0435\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u043b\u0438 ignore_eos: true.\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0435\u0440\u0438\u044f \u2014 reasoning OFF, \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a, \u0432\u044b\u0445\u043e\u0434 = 1\/10 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, 12 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438:\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0412\u044b\u0445\u043e\u0434 (\u0444\u0430\u043a\u0442)TTFT p50\u0427\u0442\u0435\u043d\u0438\u0435\u0417\u0430\u043f\u0438\u0441\u044cE2E p508k8884.2 \u04411 965 \u0442\u043e\u043a\/\u044196.4 \u0442\u043e\u043a\/\u044113.3 \u044116k1 7758.1 \u04412 040 \u0442\u043e\u043a\/\u044198.1 \u0442\u043e\u043a\/\u044126.6 \u044132k3 57116.1 \u04412 048 \u0442\u043e\u043a\/\u044196.5 \u0442\u043e\u043a\/\u044153.4 \u044164k7 20332.3 \u04412 035 \u0442\u043e\u043a\/\u044196.5 \u0442\u043e\u043a\/\u0441121 \u0441128k14 51866.0 \u04411 992 \u0442\u043e\u043a\/\u044194.5 \u0442\u043e\u043a\/\u0441230 \u0441\u0427\u0442\u043e \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442:\u0417\u0430\u043f\u0438\u0441\u044c \u2014 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430 ~95\u201398 \u0442\u043e\u043a\/\u0441 \u043d\u0430 \u0432\u0441\u0451\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u00ab\u0414\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u00bb \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u2014 \u0435\u0451 \u0438\u043c\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u0430\u0443\u0437\u044b \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 (\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0434\u043e 36\u00d7). \u0418 \u043e\u0431\u0435\u0449\u0430\u043d\u043d\u044b\u0435 \u0434\u043e 94 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441 \u0432 \u0431\u043b\u0430\u0433\u043e\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u2014 \u043d\u0435 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433: \u0444\u043e\u0440\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0442\u0440\u0438\u043c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0434\u0430\u0451\u0442 ~96.\u0427\u0442\u0435\u043d\u0438\u0435 \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435, ~2 000 \u0442\u043e\u043a\/\u0441. TTFT \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c (4.2 \u0441 \u043d\u0430 8k \u2192 66 \u0441 \u043d\u0430 128k), \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0447\u0442\u0435\u043d\u0438\u0435 \u0437\u0434\u0435\u0441\u044c \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e.\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u043a\u0430\u043a \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043e. \u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b \u043f\u0440\u0438 c=4 \u0434\u0430\u044e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0433\u043e throughput (+27% \u043a \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c\u0443 \u043f\u043e\u0442\u043e\u043a\u0443), \u043d\u043e \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e TTFT \u0432 2\u20135 \u0440\u0430\u0437, \u0430 c=16 \u0441\u0435\u0440\u0432\u0435\u0440 \u0443\u0436\u0435 \u043d\u0435 \u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u0442. \u0414\u043b\u0438\u043d\u043d\u044b\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u0441\u043b\u0430\u0442\u044c \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443.\u0414\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f (\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 + \u043e\u0442\u0432\u0435\u0442 ~150 \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0448\u0430\u0433 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~6 \u0441 \u043f\u0440\u0438 8k, ~18 \u0441 \u043f\u0440\u0438 32k \u0438 ~68 \u0441 \u043f\u0440\u0438 128k \u2014 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u044b\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0433\u0434\u0435-\u0442\u043e \u0434\u043e 32k.\u0410 \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c reasoning \u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c?\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u043a\u0430\u0440\u0442\u0438\u043d\u044b \u0442\u0443 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 \u0438 \u0441 \u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043d\u044f\u0442\u043d\u0430\u044f:\u041c\u0435\u0442\u0440\u0438\u043a\u0430Reasoning ONReasoning OFF\u0417\u0430\u043f\u0438\u0441\u044c @ 8k, \u0444\u043e\u0440\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434~90\u201399 \u0442\u043e\u043a\/\u044196.4 \u0442\u043e\u043a\/\u0441\u0417\u0430\u043f\u0438\u0441\u044c @ 8k, \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u043426.6 \u0442\u043e\u043a\/\u0441\u2014\u0417\u0430\u043f\u0438\u0441\u044c @ 128k, \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u04342.6 \u0442\u043e\u043a\/\u044194.5 \u0442\u043e\u043a\/\u0441TTFT \u0434\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 \u043d\u0430 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u04356.76 \u04410.18\u20130.35 \u0441\u0422\u043e\u043d\u043a\u043e\u0441\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0437\u0434\u0435\u0441\u044c \u0438\u0441\u043a\u0430\u0436\u0430\u0435\u0442 \u0441\u0430\u043c \u0441\u043f\u043e\u0441\u043e\u0431 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f. TTFT \u043e\u0442\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432\u0441\u0435 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0410 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0432\u043a\u043b\u0438\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0430\u0443\u0437\u044b \u00ab\u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c\u00bb \u2014 \u043d\u0430 128k \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043e\u0445\u043e\u0434\u0438\u0442 \u0434\u043e 378 \u043c\u0441, \u0447\u0442\u043e \u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u043a\u0430\u043a \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u0434\u043e 2.6 \u0442\u043e\u043a\/\u0441. \u041f\u0440\u0438 \u0444\u043e\u0440\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u044b\u0432\u043e\u0434\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u0430\u0443\u0437\u044b \u0432\u044b\u043c\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043f\u043b\u043e\u0448\u043d\u044b\u043c \u0441\u0442\u0440\u0438\u043c\u043e\u043c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 reasoning OFF (~90\u201399 \u043f\u0440\u043e\u0442\u0438\u0432 96.4 \u0442\u043e\u043a\/\u0441): \u0442\u043e\u043a\u0435\u043d\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0442\u0430\u043a \u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u043e \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0443\u043c\u0430\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438.\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 \u0441\u0442\u0440\u0438\u043c \u2014 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0439\u0442\u0435 thinking. \u0415\u0441\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0430\u0436\u043d\u0435\u0435 latency \u2014 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435, \u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u0435, \u0447\u0442\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 reasoning \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e EOS \u0443\u0436\u0435 \u043d\u0430 85\u2013365 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0442\u0430\u043a \u0447\u0442\u043e \u00ab\u0447\u0435\u0441\u0442\u043d\u0443\u044e\u00bb \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0432\u044b \u0432 \u044d\u0442\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0443\u0432\u0438\u0434\u0438\u0442\u0435.\u0418 \u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0431\u043e\u043d\u0443\u0441: \u0437\u0430 \u0432\u0441\u0451 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u2014 150+ \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0430\u0442\u0447\u0430 \u043f\u0430\u0440\u0441\u0435\u0440\u0430 \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430.\u0413\u043e\u0442\u043e\u0432\u0438\u043c Fedora 43 Server\u0421\u0442\u0430\u0432\u0438\u043c Podman \u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0443\u0442\u0438\u043b\u0438\u0442\u044b:sudo dnf upgrade &#8212;refresh -ysudo dnf install -y podman curl pciutilssudo reboot\u041f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0434\u0440\u0430\u0439\u0432\u0435\u0440 \u0438 GPU-\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430:lspci -nnk | grep -A 4 -Ei &#8216;VGA|Display|3D&#8217;ls -l \/dev\/kfd \/dev\/dri\/renderD*free -h\u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 GPU \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0433\u0440\u0443\u043f\u043f\u044b render \u0438 video:sudo usermod -aG render,video &#171;$USER&#187;\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u0432\u0430\u0436\u043d\u0430\u044f \u043c\u0435\u043b\u043e\u0447\u044c, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u043e \u0437\u0430\u0431\u044b\u0432\u0430\u044e\u0442: \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u0435 SSH-\u0441\u0435\u0430\u043d\u0441 \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u0441\u044c \u0437\u0430\u043d\u043e\u0432\u043e, \u0438\u043d\u0430\u0447\u0435 \u043d\u043e\u0432\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u043d\u0435 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u044f\u0442\u0441\u044f.\u0421\u043e\u0437\u0434\u0430\u0451\u043c API-\u043a\u043b\u044e\u0447HALOGEN \u0443\u043c\u0435\u0435\u0442 \u0437\u0430\u0449\u0438\u0449\u0430\u0442\u044c API \u0447\u0435\u0440\u0435\u0437 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e HALOGEN_API_KEY. \u041a\u043b\u0438\u0435\u043d\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u0435\u0451 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u043c:Authorization: Bearer \u0412\u0410\u0428_\u041a\u041b\u042e\u0427\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0444\u0430\u0439\u043b \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0441 \u043f\u0440\u0430\u0432\u0430\u043c\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f:mkdir -p &#171;$HOME\/.config\/halogen&#187; &#171;$HOME\/halogen-models&#187;chmod 700 &#171;$HOME\/.config\/halogen&#187;(  umask 077  if [ ! -f &#171;$HOME\/.config\/halogen\/server.env&#187; ]; then    printf &#8216;HALOGEN_API_KEY=%s\\n&#8217; \\      &#171;$(head -c 32 \/dev\/urandom | od -An -tx1 | tr -d &#8216; \\n&#8217;)&#187; \\      &gt; &#171;$HOME\/.config\/halogen\/server.env&#187;  fi)chmod 600 &#171;$HOME\/.config\/halogen\/server.env&#187;\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043b\u044e\u0447 \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a:cat &#171;$HOME\/.config\/halogen\/server.env&#187;\u0418 \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u043e\u0435, \u043d\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0435: \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0439\u0442\u0435 \u044d\u0442\u043e\u0442 \u0444\u0430\u0439\u043b \u0432 Git, \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u0430\u0439\u0442\u0435 \u0432 \u043c\u0435\u0441\u0441\u0435\u043d\u0434\u0436\u0435\u0440\u0430\u0445 \u0438 \u043d\u0435 \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u0432 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c HALOGEN \u0441 \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u0435\u0441\u0441\u0438\u044f\u043c\u0438HALOGEN \u0441\u043b\u0443\u0448\u0430\u0435\u0442 \u043f\u043e\u0440\u0442 8731 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430. \u0415\u0441\u043b\u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 API \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0447\u0435\u0440\u0435\u0437 9091, \u043f\u043e\u0440\u0442-\u043c\u0430\u043f\u043f\u0438\u043d\u0433 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a: 9091 \u043d\u0430 \u0445\u043e\u0441\u0442\u0435 \u2192 8731 \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435.\u041a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430:podman run -d \\  &#8212;name halogen \\  -p 0.0.0.0:9091:8731 \\  &#8212;device \/dev\/kfd \\  &#8212;device \/dev\/dri \\  &#8212;group-add keep-groups \\  &#8212;security-opt label=disable \\  &#8212;ipc=host \\  &#8212;ulimit memlock=-1:-1 \\  &#8212;env-file &#171;$HOME\/.config\/halogen\/server.env&#187; \\  -e HALOGEN_KV_SLOTS=4 \\  -e HALOGEN_DOWNLOAD=peonist-ai\/halogen-qwen3.8-flash-next \\  -v &#171;$HOME\/halogen-models:\/models&#187; \\  ghcr.io\/peonist-ai\/halogen-flash-server:0.18.5\u0427\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0447\u0442\u043e\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435-p 0.0.0.0:9091:8731\u041f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442 API \u043d\u0430\u0440\u0443\u0436\u0443 \u043d\u0430 \u043f\u043e\u0440\u0442\u0443 9091&#8212;device \/dev\/kfd\u0414\u043e\u0441\u0442\u0443\u043f \u043a AMD Compute Runtime&#8212;device \/dev\/dri\u0414\u043e\u0441\u0442\u0443\u043f \u043a DRM\/GPU&#8212;group-add keep-groups\u041f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0443 \u043f\u0440\u0430\u0432\u0430 \u0433\u0440\u0443\u043f\u043f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f&#8212;security-opt label=disable\u041e\u0431\u0445\u043e\u0434 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439 SELinux-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u043b\u044f GPU-\u0434\u043e\u0441\u0442\u0443\u043f\u0430&#8212;ipc=host\u041e\u0431\u0449\u0438\u0439 IPC namespace, \u043a\u0430\u043a \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442 quickstart-\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f&#8212;ulimit memlock=-1:-1\u0421\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u0438\u043c\u0438\u0442 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438HALOGEN_KV_SLOTS=4\u0414\u043e \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432HALOGEN_DOWNLOAD=&#8230;\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u0442\u0430\u0440\u0442\u0435&#8212;env-file\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442 API-\u043a\u043b\u044e\u0447, \u043d\u0435 \u0441\u0432\u0435\u0442\u044f \u0438\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0445\u043e\u0434 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438:podman logs -f&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-500151","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500151","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=500151"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500151\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=500151"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=500151"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=500151"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}