{"id":500308,"date":"2026-10-26T13:55:34","date_gmt":"2026-10-26T10:55:34","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=500308"},"modified":"2026-10-26T13:55:34","modified_gmt":"2026-10-26T10:55:34","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=500308","title":{"rendered":"\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430. \u0427\u0430\u0441\u0442\u044c 2. \u0417\u0430\u043f\u0443\u0441\u043a llama-cpp"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430<\/h2>\n<h3>\u0427\u0430\u0441\u0442\u044c 2. \u0417\u0430\u043f\u0443\u0441\u043a llama.cpp \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0441\u043e\u0431\u0435\u0440\u0451\u043c <code>llama.cpp<\/code>, \u0441\u043a\u0430\u0447\u0430\u0435\u043c \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430, \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f \u0441 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c\u0438 \u043e\u043f\u0446\u0438\u044f\u043c\u0438 (<code>mmap<\/code>, \u043b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438, <code>mmproj<\/code>) \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0441\u0435\u0440\u0432\u0435\u0440. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0443 \u0432\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0447\u0430\u0442 \u043f\u043e \u0430\u0434\u0440\u0435\u0441\u0443 <a href=\"http:\/\/127.0.0.1:8080\" rel=\"noopener nofollow\"><code>http:\/\/127.0.0.1:8080<\/code><\/a> \u2014 \u0441 \u0440\u043e\u0434\u043d\u044b\u043c \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c <code>llama.cpp<\/code> (\u043f\u043e\u043a\u0430 \u0431\u0435\u0437 Open WebUI).<\/p>\n<h4>\u0427\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430<\/h4>\n<p><code>llama.cpp<\/code> \u2014 \u044d\u0442\u043e C++ \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 LLM. \u041e\u043d \u0443\u043c\u0435\u0435\u0442:<\/p>\n<ul>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 CPU<\/strong> (\u0431\u0435\u0437 GPU) \u2014 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 <\/strong><code><strong>mmap<\/strong><\/code> \u2014 \u043d\u0435 \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0435\u0451 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 RAM, \u0430 \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438<\/strong> \u0447\u0435\u0440\u0435\u0437 <code>cgroup<\/code> (\u0447\u0435\u0440\u0435\u0437 <code>systemd-run<\/code>).<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0434\u0432\u0443\u0445 \u0440\u0435\u0436\u0438\u043c\u0430\u0445<\/strong>: \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c (<code>-m<\/code>) \u0438\u043b\u0438 \u00ab\u0440\u043e\u0443\u0442\u0435\u0440\u00bb \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (<code>--models-dir<\/code>), \u043a\u043e\u0433\u0434\u0430 \u0432 UI \u0432\u0438\u0434\u0435\u043d \u0441\u043f\u0438\u0441\u043e\u043a \u0432\u0441\u0435\u0445 <code>.gguf<\/code>, \u0430 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u0434\u043d\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 <strong>Qwen3.5-2B-Q4_K_M<\/strong> (~1.5 \u0413\u0411), \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0431\u044b\u0441\u0442\u0440\u043e, \u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 9\u201310 \u0413\u0411 \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u043d\u0430 \u0436\u0435 \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043b\u044f \u00ab\u0441\u0432\u0435\u0440\u0445\u0431\u044b\u0441\u0442\u0440\u044b\u0445\u00bb \u0437\u0430\u0434\u0430\u0447 (\u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0438, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0438\u0434\u0435\u0439).<\/p>\n<h4>\u0428\u0430\u0433 1. \u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438<\/h4>\n<pre><code class=\"bash\">sudo apt updatesudo apt install -y \\  cmake build-essential libopenblas-dev \\  python3 python3-venv python3-pip \\  git curl wget jq<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<p><code>libopenblas-dev<\/code> \u2014 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 CPU. <code>build-essential<\/code> \u2014 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 \u0434\u043b\u044f \u0441\u0431\u043e\u0440\u043a\u0438 <code>llama.cpp<\/code>. <code>python3-venv<\/code> \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043f\u043e\u0437\u0436\u0435 \u0434\u043b\u044f Open WebUI, \u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u0440\u0430\u0437\u0443.<\/p>\n<h4>\u0428\u0430\u0433 2. \u0421\u0431\u043e\u0440\u043a\u0430 llama.cpp<\/h4>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442 <code>run_llama_<\/code><a href=\"http:\/\/mmap.sh\" rel=\"noopener nofollow\"><code>mmap.sh<\/code><\/a> \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 <code>llama.cpp<\/code> <strong>\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435<\/strong>, \u0435\u0441\u043b\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0430 \u043d\u0435\u0442. \u041d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442:<\/p>\n<pre><code class=\"bash\">git clone --depth=1 https:\/\/github.com\/ggerganov\/llama.cpp.gitcd llama.cppcmake -S . -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_BUILD_UI=ONcmake --build build --config Release -j\"$(nproc)\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<ul>\n<li>\n<p><code>-DLLAMA_BUILD_UI=ON<\/code> \u2014 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 <strong>\u0440\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441<\/strong> <code>llama.cpp<\/code> (Svelte). \u0411\u0435\u0437 \u043d\u0435\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440 \u043e\u0442\u0434\u0430\u0451\u0442 \u0442\u043e\u043b\u044c\u043a\u043e API, \u0430 \u043a\u043e\u0440\u0435\u043d\u044c (<code>\/<\/code>) \u043f\u0443\u0441\u0442\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><code>-j$(nproc)<\/code> \u2014 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0431\u043e\u0440\u043a\u0430 \u043d\u0430 \u0432\u0441\u0435\u0445 \u044f\u0434\u0440\u0430\u0445. \u041d\u0430 4-\u044f\u0434\u0435\u0440\u043d\u043e\u043c CPU \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 5\u201310 \u043c\u0438\u043d\u0443\u0442, \u043d\u0430 8+ \u2014 3\u20135 \u043c\u0438\u043d\u0443\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0431\u043e\u0440\u043a\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 <strong>Node.js<\/strong> \u0434\u043b\u044f UI, \u043d\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 <code>llama.cpp<\/code> \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044e\u0442 UI \u043a\u0430\u043a \u0441\u0442\u0430\u0442\u0438\u043a\u0443, \u0442\u0430\u043a \u0447\u0442\u043e Node.js \u043d\u0435 \u043d\u0443\u0436\u0435\u043d. \u0415\u0441\u043b\u0438 \u0441\u0431\u043e\u0440\u043a\u0430 \u0440\u0443\u0433\u043d\u0451\u0442\u0441\u044f \u043d\u0430 UI \u2014 <code>-DLLAMA_BUILD_UI=OFF<\/code>, \u043d\u043e \u0442\u043e\u0433\u0434\u0430 \u0440\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 (\u0442\u043e\u043b\u044c\u043a\u043e API, \u0430 \u0447\u0430\u0442 \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0447\u0435\u0440\u0435\u0437 Open WebUI).<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0438 \u0432 <code>llama.cpp\/build\/bin\/<\/code>:<\/p>\n<ul>\n<li>\n<p><code>llama-server<\/code> \u2014 HTTP-\u0441\u0435\u0440\u0432\u0435\u0440 \u0441 API \u0438 UI (\u0442\u043e, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043d\u0430\u0448 \u0441\u043a\u0440\u0438\u043f\u0442).<\/p>\n<\/li>\n<li>\n<p><code>llama-cli<\/code> \u2014 CLI \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 (\u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438).<\/p>\n<\/li>\n<li>\n<p><code>llama-quantize<\/code> \u2014 \u0443\u0442\u0438\u043b\u0438\u0442\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (\u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0435\u0439).<\/p>\n<\/li>\n<\/ul>\n<h4>\u0428\u0430\u0433 3. \u0421\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/h4>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u2014 <strong>Qwen3.5-2B-Q4_K_M<\/strong>. \u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 <code>Q4_K_M<\/code> \u2014 \u00ab\u0437\u043e\u043b\u043e\u0442\u0430\u044f \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430\u00bb: \u0444\u0430\u0439\u043b ~1.5 \u0413\u0411, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a F16.<\/p>\n<p><strong>\u041a\u0430\u0447\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 <\/strong><code><strong>wget<\/strong><\/code> (\u0431\u0435\u0437 Python):<\/p>\n<pre><code class=\"bash\">mkdir -p modelswget -c -O models\/Qwen3.5-2B-Q4_K_M.gguf \\  \"https:\/\/huggingface.co\/unsloth\/Qwen3.5-2B-GGUF\/resolve\/main\/Qwen3.5-2B-Q4\\_K\\_M.gguf\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><code>-c<\/code> \u2014 \u0434\u043e\u043a\u0430\u0447\u043a\u0430 \u043f\u0440\u0438 \u043e\u0431\u0440\u044b\u0432\u0435. \u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u043b\u0443\u0447\u0448\u0435 <code>wget -c<\/code>, \u0447\u0435\u043c <code>curl<\/code>, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e <code>curl<\/code> \u0431\u0435\u0437 <code>-C -<\/code> \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0437\u0430\u043d\u043e\u0432\u043e.<\/p>\n<p><strong>\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0438:<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u041e\u0431\u044b\u0447\u043d\u044b\u0435 (\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435) \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> \u2014 \u043c\u043e\u0436\u043d\u043e \u043f\u043b\u043e\u0441\u043a\u043e, \u043f\u0440\u044f\u043c\u043e \u0432 <code>models\/<\/code>. \u0418\u043c\u044f \u0444\u0430\u0439\u043b\u0430 \u2014 <code>&lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;-&lt;\u043a\u0432\u0430\u043d\u0442&gt;.gguf<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> \u2014 <strong>\u0432\u0441\u0435\u0433\u0434\u0430 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0435<\/strong>, \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 <code>mmproj-F16.gguf<\/code>. \u042d\u0442\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0436\u0438\u043c\u0430 \u0440\u043e\u0443\u0442\u0435\u0440\u0430: \u043e\u043d \u0438\u0449\u0435\u0442 <code>mmproj<\/code> \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u043f\u043a\u0435, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u0438 \u0438\u043c\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043e\u043b\u0436\u043d\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c\u0441\u044f \u0441 <code>mmproj<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0434\u0438\u043d <\/strong><code><strong>mmproj<\/strong><\/code><strong> \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0439<\/strong> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>Q4_K_M<\/code> \u0438 <code>Q8_0<\/code> \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435) \u2014 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c <strong>\u0441\u0438\u043c\u043b\u0438\u043d\u043a<\/strong>: <\/p>\n<pre><code class=\"bash\">ln -s mmproj-F16.gguf mmproj-Q8_0.gguf<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p> \u041d\u043e \u043f\u0440\u043e\u0449\u0435 \u2014 \u043e\u0434\u0438\u043d <code>mmproj<\/code> \u043d\u0430 \u043f\u0430\u043f\u043a\u0443, \u0430 \u0432 \u043f\u0430\u043f\u043a\u0435 \u043e\u0434\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 <\/strong><code><strong>mmproj<\/strong><\/code><strong> \u2014 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b, \u0430 \u043d\u0435 \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong> <code>mmproj<\/code> (multimodal projector) \u2014 \u044d\u0442\u043e \u00ab\u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u0438\u043a\u00bb \u043c\u0435\u0436\u0434\u0443 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u0412 <code>llama.cpp<\/code> \u043e\u043d \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0444\u043b\u0430\u0433\u043e\u043c <code>--mmproj<\/code>. \u0411\u0435\u0437 \u043d\u0435\u0433\u043e VL-\u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f (\u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442), \u0441 \u043d\u0438\u043c \u2014 \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u2014 \u0432 \u0448\u0430\u0433\u0435 5 \u043d\u0438\u0436\u0435.<\/p>\n<h4>\u0428\u0430\u0433 4. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043e\u043f\u0446\u0438\u0438 llama-server<\/h4>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442 <code>run_llama_<\/code><a href=\"http:\/\/mmap.sh\" rel=\"noopener nofollow\"><code>mmap.sh<\/code><\/a> \u2014 \u044d\u0442\u043e \u043e\u0431\u0451\u0440\u0442\u043a\u0430 \u043d\u0430\u0434 <code>llama-server<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0443\u043c\u043d\u044b\u0435 \u0434\u0435\u0444\u043e\u043b\u0442\u044b. \u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0432\u0430\u0436\u043d\u044b\u0435 \u0444\u043b\u0430\u0433\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442.<\/p>\n<h3>&#8212;load-mode mmap \u2014 \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u043e\u043f\u0446\u0438\u044f<\/h3>\n<pre><code class=\"bash\">--load-mode mmap<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0417\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 <code>llama.cpp<\/code> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <code>mmap<\/code> \u0434\u043b\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0432\u0435\u0441\u043e\u0432. <strong>\u0427\u0442\u043e \u044d\u0442\u043e \u0434\u0430\u0451\u0442:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u0432 RAM \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/strong> \u042f\u0434\u0440\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0444\u0430\u0439\u043b \u0432 \u0430\u0434\u0440\u0435\u0441\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0438 \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b <strong>\u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e<\/strong>. \u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a \u0441\u043b\u043e\u044e, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0441 \u0434\u0438\u0441\u043a\u0430; \u043a\u043e\u0433\u0434\u0430 \u0441\u043b\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u2014 \u044f\u0434\u0440\u043e \u043c\u043e\u0436\u0435\u0442 \u0435\u0451 \u0432\u044b\u0442\u0435\u0441\u043d\u0438\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u043e\u043b\u044c\u0448\u0435 RAM.<\/strong> \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 20-\u0433\u0438\u0433\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 10 \u0413\u0411 RAM. \u042f\u0434\u0440\u043e \u0434\u0435\u0440\u0436\u0438\u0442 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u00ab\u0433\u043e\u0440\u044f\u0447\u0438\u0435\u00bb \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2014 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435\u0442 \u0438\u0437\u043d\u043e\u0441\u0430 SSD.<\/strong> \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 swap, <code>mmap<\/code> \u043d\u0435 \u043f\u0438\u0448\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u2014 \u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435, \u0438\u0445 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b:<\/strong><\/p>\n<ul>\n<li>\n<p><code>--load-mode none<\/code> \u2014 \u0433\u0440\u0443\u0437\u0438\u0442 \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 RAM. \u0423\u043f\u0430\u0434\u0451\u0442 \u0441 <code>OOM<\/code>, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><code>--load-mode mlock<\/code> \u2014 \u0433\u0440\u0443\u0437\u0438\u0442 \u0438 <strong>\u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442<\/strong> \u0432 RAM (\u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0432\u044b\u0442\u0435\u0441\u043d\u044f\u0442\u044c). \u0411\u044b\u0441\u0442\u0440\u043e, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><code>--load-mode dio<\/code> \u2014 DirectIO, \u0447\u0442\u0435\u043d\u0438\u0435 \u0432 \u043e\u0431\u0445\u043e\u0434 page cache. \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 <code>llama.cpp<\/code> \u0431\u0430\u0433\u043e\u0432\u0430\u043d (\u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0431\u0443\u0444\u0435\u0440\u044b \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0441 \u043c\u043e\u0434\u0435\u043b\u044c). <strong>\u041d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435<\/strong> \u0431\u0435\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/strong> \u041f\u0435\u0440\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0441\u0430\u043c\u044b\u0439 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439: \u044f\u0434\u0440\u043e \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0441 \u0434\u0438\u0441\u043a\u0430. \u041d\u0430 HDD \u044d\u0442\u043e 5\u201310 \u043c\u0438\u043d\u0443\u0442 \u0434\u043b\u044f 20-\u0433\u0438\u0433\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u2014 \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0443\u0436\u0435 \u0432 page cache. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 RAM \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u00ab\u0433\u043e\u0440\u044f\u0447\u0438\u0445\u00bb \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<h3>&#8212;no-repack \u2014 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0430 CPU<\/h3>\n<pre><code class=\"bash\">--no-repack<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><code>llama.cpp<\/code> \u043f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c <strong>\u0432\u0442\u043e\u0440\u0443\u044e \u043a\u043e\u043f\u0438\u044e<\/strong> \u0432\u0435\u0441\u043e\u0432, \u043f\u0435\u0440\u0435\u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (<code>CPU_REPACK<\/code>). \u042d\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u043f\u0438\u043a\u043e\u0432\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 RAM. \u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438 \u0442\u0430\u043a \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u0435\u0442, \u2014 \u0444\u0430\u0442\u0430\u043b\u044c\u043d\u043e (\u0431\u044b\u043b \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: <code>CPU model buffer 9.4 \u0413\u0411<\/code> + <code>CPU_REPACK 11.2 \u0413\u0411<\/code> = 20.6 \u0413\u0411 \u043f\u0440\u0438 \u043b\u0438\u043c\u0438\u0442\u0435 10 \u0413\u0411 -&gt; <code>OOM<\/code>). <code>--no-repack<\/code> \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0443. \u0426\u0435\u043d\u0430 \u2014 ~10\u201315% \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u00ab\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0445\u043e\u0442\u044c \u043a\u0430\u043a-\u0442\u043e\u00bb \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441.<\/p>\n<h3>-ctk q8_0 -ctv q8_0 \u2014 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f KV-cache<\/h3>\n<pre><code class=\"bash\">--cache-type-k q8_0 --cache-type-v q8_0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>KV-cache \u2014 \u044d\u0442\u043e \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 (\u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430). \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043e\u043d \u0432 <code>f16<\/code>, \u0447\u0442\u043e \u0434\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u044b. <code>q8_0<\/code> \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u0435\u0433\u043e \u0432 2 \u0440\u0430\u0437\u0430 (~50% \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438) \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u00ab\u0435\u043b\u0435 \u0432\u043b\u0435\u0437\u0430\u044e\u0442\u00bb \u0432 \u043b\u0438\u043c\u0438\u0442, \u044d\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e.<\/p>\n<h3>&#8212;reasoning on | off | auto \u2014 \u00ab\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f\u00bb Qwen3.x<\/h3>\n<pre><code class=\"bash\">--reasoning auto--reasoning-budget 768<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041d\u043e\u0432\u044b\u0435 Qwen-\u043c\u043e\u0434\u0435\u043b\u0438 (3.x, 3.5) \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0440\u0435\u0436\u0438\u043c \u00ab\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439\u00bb: \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 (<code>reasoning_content<\/code>), \u043f\u043e\u0442\u043e\u043c \u2014 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u042d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 (\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, RAG, \u043f\u043e\u044d\u0437\u0438\u044f), \u043d\u043e:<\/p>\n<ul>\n<li>\n<p><strong>\u041d\u0430 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445<\/strong> (\u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb) \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u00ab\u0434\u0443\u043c\u0430\u0442\u044c\u00bb 400+ \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e \u043d\u0430 CPU \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043c\u0438\u043d\u0443\u0442\u044b. \u041e\u0442\u0441\u044e\u0434\u0430 <code>--reasoning off<\/code> \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0447\u0430\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><code><strong>--reasoning-budget N<\/strong><\/code> \u2014 \u0436\u0451\u0441\u0442\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f. \u041f\u043e\u0441\u043b\u0435 <code>N<\/code> \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u0438\u043d\u0443\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u043b\u043e\u043a \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 \u0438 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c. \u0411\u0435\u0437 \u043d\u0435\u0433\u043e reasoning \u043c\u043e\u0436\u0435\u0442 \u00ab\u0441\u044a\u0435\u0441\u0442\u044c\u00bb \u0432\u0435\u0441\u044c <code>ctx-size<\/code> \u0438 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043c\u0435\u0441\u0442\u0430 (\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0434\u0443\u043c\u0430\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u00bb, \u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0442\u0430\u043a \u0438 \u043d\u0435 \u0434\u0430\u043b\u0430 \u2014 \u0443\u043f\u0451\u0440\u043b\u0430\u0441\u044c \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442).<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f:<\/strong> <code>auto<\/code> (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0435) \u0441 <code>--reasoning-budget 768<\/code>. \u0414\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u2014 <code>-rn<\/code> (off).<\/p>\n<h3>&#8212;ctx-size \u2014 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/h3>\n<pre><code class=\"bash\">--ctx-size 3096<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043f\u043e\u043c\u043d\u0438\u0442\u00bb (\u043f\u0440\u043e\u043c\u043f\u0442 + \u0438\u0441\u0442\u043e\u0440\u0438\u044f + reasoning + \u043e\u0442\u0432\u0435\u0442). \u0411\u043e\u043b\u044c\u0448\u0435 \u2014 \u043b\u0443\u0447\u0448\u0435 \u0434\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 RAG, \u043d\u043e <strong>\u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438<\/strong> \u043f\u043e\u0434 KV-cache. \u041f\u043e\u0434\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u043f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u0443: \u0434\u043b\u044f \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\/\u041a\u0430\u043a \u0434\u0435\u043b\u0430\u00bb \u0445\u0432\u0430\u0442\u0438\u0442 <code>2048<\/code>, \u0434\u043b\u044f \u0441\u0430\u043c\u043c\u0430\u0440\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 <code>4096+<\/code>.<\/p>\n<h3>&#8212;threads \u2014 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432 CPU<\/h3>\n<pre><code class=\"bash\">--threads $(( $(nproc) - 2 ))<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442 \u0431\u0435\u0440\u0451\u0442 <code>nproc - 2<\/code>: \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 2 \u044f\u0434\u0440\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u0434\u0432\u0438\u0441\u0430\u043b\u0430, \u043f\u043e\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u0442. \u0414\u043b\u044f 4-\u044f\u0434\u0435\u0440\u043d\u043e\u0433\u043e CPU \u2014 2 \u043f\u043e\u0442\u043e\u043a\u0430, \u0434\u043b\u044f 8-\u044f\u0434\u0435\u0440\u043d\u043e\u0433\u043e \u2014 6. \u0411\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u2260 \u0431\u044b\u0441\u0442\u0440\u0435\u0435: \u043d\u0430 \u0433\u0438\u043f\u0435\u0440\u0442\u0440\u0435\u0434\u0438\u043d\u0433\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0438\u0437-\u0437\u0430 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u0438 \u0437\u0430 \u043a\u044d\u0448.<\/p>\n<h3>&#8212;models-dir \u0438 &#8212;models-max 1 \u2014 \u0440\u0435\u0436\u0438\u043c \u0440\u043e\u0443\u0442\u0435\u0440\u0430<\/h3>\n<pre><code class=\"bash\">--models-dir .\/models --models-max 1<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e <code>-m &lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;<\/code> \u0441\u043a\u0440\u0438\u043f\u0442 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 <strong>\u0440\u043e\u0443\u0442\u0435\u0440<\/strong>: \u0432 UI \u0432\u0438\u0434\u0435\u043d \u0434\u0440\u043e\u043f\u0434\u0430\u0443\u043d \u0441\u043e \u0432\u0441\u0435\u043c\u0438 <code>.gguf<\/code> \u0438\u0437 <code>models\/<\/code>, \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. <code>--models-max 1<\/code> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f <strong>\u043e\u0434\u043d\u0430<\/strong> \u043c\u043e\u0434\u0435\u043b\u044c: \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u0441\u0442\u0430\u0440\u0430\u044f \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f, \u043d\u043e\u0432\u0430\u044f \u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f. \u0414\u043b\u044f \u043b\u0438\u043c\u0438\u0442\u0430 10 \u0413\u0411 \u2014 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0438\u043d\u0430\u0447\u0435 \u0440\u043e\u0443\u0442\u0435\u0440 \u043f\u043e\u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 <code>OOM<\/code>.<\/p>\n<p><strong>\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 \u2014 \u0440\u0435\u0436\u0438\u043c \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438:<\/strong> <code>-m &lt;\u0438\u043c\u044f&gt;<\/code> (\u0438\u043b\u0438 <code>-s<\/code> \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430). \u0422\u043e\u0433\u0434\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u0433\u0440\u0443\u0437\u0438\u0442 <strong>\u0442\u043e\u043b\u044c\u043a\u043e<\/strong> \u044d\u0442\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u0431\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440\u0430. \u0427\u0443\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u0442, \u0447\u0443\u0442\u044c \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432. \u0423\u0434\u043e\u0431\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u0430.<\/p>\n<h3>\u041b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 systemd-run<\/h3>\n<pre><code class=\"bash\">systemd-run --user --unit=llama-server-$$ \\    -p MemoryMax=10G \\    -p MemoryHigh=9G \\    -p MemorySwapMax=0 \\    -- llama-server ...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a \u0432 <code>cgroup<\/code> \u0441 \u043b\u0438\u043c\u0438\u0442\u0430\u043c\u0438:<\/p>\n<ul>\n<li>\n<p><code><strong>MemoryMax=10G<\/strong><\/code> \u2014 \u0436\u0451\u0441\u0442\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442. \u041f\u0440\u0438 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d\u0438\u0438 <code>cgroup<\/code> \u0443\u0431\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 (<code>OOM-kill<\/code>). \u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0436\u0438\u0432\u0430.<\/p>\n<\/li>\n<li>\n<p><code><strong>MemoryHigh=9G<\/strong><\/code> \u2014 \u043c\u044f\u0433\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442. \u041f\u0440\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043a \u043d\u0435\u043c\u0443 \u044f\u0434\u0440\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 <strong>\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e \u0432\u044b\u0442\u0435\u0441\u043d\u044f\u0442\u044c<\/strong> \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b <code>mmap<\/code> \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043d\u0430 \u0434\u0438\u0441\u043a (\u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c <code>OOM<\/code>).<\/p>\n<\/li>\n<li>\n<p><code><strong>MemorySwapMax=0<\/strong><\/code> \u2014 \u0437\u0430\u043f\u0440\u0435\u0442 swap. \u0411\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u044f\u0434\u0440\u043e \u043c\u043e\u0433\u043b\u043e \u0431\u044b \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c \u0430\u043d\u043e\u043d\u0438\u043c\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c (KV-cache, \u0431\u0443\u0444\u0435\u0440\u044b) \u0432 swap, \u0447\u0442\u043e \u0434\u043b\u044f <code>mmap<\/code>-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043a\u0430\u0442\u0430\u0441\u0442\u0440\u043e\u0444\u0430 \u043f\u043e I\/O.<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f <code>MEM_MAX<\/code>\/<code>MEM_HIGH<\/code> \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 env: <code>MEM_MAX=14G .\/run_llama_<\/code><a href=\"http:\/\/mmap.sh\" rel=\"noopener nofollow\"><code>mmap.sh<\/code><\/a>.<\/p>\n<h4>\u0428\u0430\u0433 5. mmproj \u2014 \u0447\u0442\u043e \u044d\u0442\u043e \u0438 \u043a\u0430\u043a \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c<\/h4>\n<p><code>mmproj<\/code> (multimodal projector) \u2014 \u044d\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0444\u0430\u0439\u043b (~300\u2013600 \u041c\u0411), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u00ab\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u00bb \u0432\u044b\u0445\u043e\u0434\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 (ViT) \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u0435\u0437 \u043d\u0435\u0433\u043e VL-\u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f; \u0441 \u043d\u0438\u043c \u2014 \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438.<\/p>\n<p><strong>\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f:<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u0418\u043c\u044f \u0444\u0430\u0439\u043b\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 <\/strong><code><strong>mmproj<\/strong><\/code> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>mmproj-F16.gguf<\/code>, <code>mmproj-Qwen3VL-4B-F16.gguf<\/code>).<\/p>\n<\/li>\n<li>\n<p><strong>\u041b\u0435\u0436\u0438\u0442 \u0432 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u043f\u043a\u0435, \u0447\u0442\u043e \u0438 \u043c\u043e\u0434\u0435\u043b\u044c<\/strong> \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u043e\u0443\u0442\u0435\u0440\u0430, \u0433\u0434\u0435 <code>llama.cpp<\/code> \u0438\u0449\u0435\u0442 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440 \u043f\u043e \u043f\u0430\u043f\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438.<\/strong> \u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432 \u043b\u043e\u0433\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f:<\/p>\n<pre><code>clip_model_load: loaded meta data ...clip_model_load: model size = ...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u043e\u043a \u043d\u0435\u0442 \u2014 <code>mmproj<\/code> \u043d\u0435 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u0438\u043b\u0441\u044f, \u0438 \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u043a\u0430\u0436\u0435\u0442 <code>Images require a vision-capable model<\/code>.<\/p>\n<p><strong>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 <\/strong><code><strong>mmproj<\/strong><\/code><strong> \u043d\u0435\u0442 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u041d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e<\/strong>, \u0435\u0441\u043b\u0438 vision \u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 vision \u043d\u0443\u0436\u0435\u043d, \u043d\u043e <code>mmproj<\/code> \u043d\u0435\u0442 \u2014 \u0438\u0449\u0438\u0442\u0435 \u0435\u0433\u043e \u0432 \u0442\u043e\u043c \u0436\u0435 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043d\u0430 Hugging Face (\u043e\u0431\u044b\u0447\u043d\u043e <code>mmproj-*.gguf<\/code> \u043b\u0435\u0436\u0438\u0442 \u0440\u044f\u0434\u043e\u043c \u0441 <code>.gguf<\/code>-\u043c\u043e\u0434\u0435\u043b\u044c\u044e).<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435 \u043f\u0443\u0442\u0430\u0439\u0442\u0435 <\/strong><code><strong>mmproj<\/strong><\/code><strong> \u0441 LLM-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u043c<\/strong> \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 (\u0442\u0430\u043c <code>--llm<\/code> \u0432 <code>sd.cpp<\/code> \u2014 \u044d\u0442\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u043d\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435).<\/p>\n<\/li>\n<\/ul>\n<h4>\u041a\u043e\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 run_llama_mmap.sh<\/h4>\n<pre><code class=\"bash\">#!\/usr\/bin\/env bash# \u0417\u0430\u043f\u0443\u0441\u043a llama-server \u0441 mmap \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0435\u0439 RAM.# Usage: .\/run_llama_mmap.sh## \u041f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c\u044b\u0435 env: MEM_MAX, MEM_HIGH, PORT, HOST, CTX_SIZE#   MEM_MAX=10G   \u2014 \u0436\u0451\u0441\u0442\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442 (OOM-kill \u043f\u0440\u0438 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d\u0438\u0438)#   MEM_HIGH=9G   \u2014 \u043c\u044f\u0433\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442 (\u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0432\u044b\u0442\u0435\u0441\u043d\u0435\u043d\u0438\u0435)#   CTX_SIZE=2048 \u2014 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 KV-cache## \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0435:#   watch -n1 'free -h; echo; cat \/sys\/fs\/cgroup\/user.slice\/user-$(id -u).slice\/user@$(id -u).service\/*\/memory.pressure 2&gt;\/dev\/null'set -euo pipefail# --- \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f ---SCRIPT_DIR=\"$(cd \"$(dirname \"${BASH_SOURCE[0]}\")\" &amp;&amp; pwd)\"LLAMA_DIR=\"$SCRIPT_DIR\/llama.cpp\"MODELS_DIR=\"$SCRIPT_DIR\/models\"# --- API-\u043a\u043b\u044e\u0447 (\u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f) ---# \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e llama-server \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0411\u0415\u0417 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.# \u0427\u0442\u043e\u0431\u044b \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0437\u0430\u0449\u0438\u0442\u0443, \u0437\u0430\u0434\u0430\u0439\u0442\u0435 \u043a\u043b\u044e\u0447:#   - \u0432\u0440\u0443\u0447\u043d\u0443\u044e: API_KEY=\"\u0432\u0430\u0448-\u0441\u0435\u043a\u0440\u0435\u0442\u043d\u044b\u0439-\u043a\u043b\u044e\u0447\"#   - \u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u043f\u0443\u0441\u0442\u044b\u043c: API_KEY=\"\"## \u0415\u0441\u043b\u0438 API_KEY \u043f\u0443\u0441\u0442 \u2014 \u0444\u043b\u0430\u0433 --api-key \u041d\u0415 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u0441\u0435\u0440\u0432\u0435\u0440 \u043e\u0442\u043a\u0440\u044b\u0442.# \u0415\u0441\u043b\u0438 API_KEY \u0437\u0430\u0434\u0430\u043d \u2014 \u0444\u043b\u0430\u0433 --api-key \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u0438 \u0442\u043e\u0433\u0434\u0430:#   1. \u0412\u0441\u0435 API-\u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a Authorization: Bearer &lt;\u043a\u043b\u044e\u0447&gt;.#   2. Web UI \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e (\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0447\u0430\u0442\u0430 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f),#      \u043d\u043e \u0434\u043b\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043b\u044e\u0447 \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445:#      Settings (\u0438\u043a\u043e\u043d\u043a\u0430 \u0448\u0435\u0441\u0442\u0435\u0440\u0451\u043d\u043a\u0438) -&gt; General -&gt; \u043f\u043e\u043b\u0435 \"API Key\".# --- \u0427\u0442\u0435\u043d\u0438\u0435 \u0441\u0435\u043a\u0440\u0435\u0442\u043e\u0432 ---SECRETS_FILE=\"$SCRIPT_DIR\/.secrets\"if [ -f \"$SECRETS_FILE\" ]; then    # shellcheck disable=SC1090    set -a; source \"$SECRETS_FILE\"; set +afiLLAMA_API_KEY=\"${LLAMA_API_KEY:-}\"LOAD_MODE=\"mmap\"PORT=\"${PORT:-8080}\"HOST=\"${HOST:-0.0.0.0}\"CTX_SIZE=\"${CTX_SIZE:-3096}\"REASONING_BUDGET=\"${REASONING_BUDGET:-768}\"  # \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 768 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044fMEM_MAX=\"${MEM_MAX:-10G}\"MEM_HIGH=\"${MEM_HIGH:-9G}\"NPROC=\"$(nproc)\"THREADS=$(( NPROC - 2 ))[ \"$THREADS\" -lt 2 ] &amp;&amp; THREADS=2# --- \u0420\u0430\u0437\u0431\u043e\u0440 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0430 ---SINGLE_MODEL=0REASONING=\"${REASONING:-auto}\"while [ $# -gt 0 ]; do    case \"$1\" in        -s|--single) SINGLE_MODEL=1 ;;        -m|--model) MODEL_NAME_ARG=\"$2\"; SINGLE_MODEL=1; shift 2 ;;        -r|--reasoning) REASONING=\"on\" ;;        -rn|--reasoning-off) REASONING=\"off\" ;;        -h|--help)            cat &lt;&lt;EOFUsage: $(basename \"$0\") [-s|--single] [-r|--reasoning] [-rn|--reasoning-off]  \u0411\u0435\u0437 \u0444\u043b\u0430\u0433\u043e\u0432             router mode \u2014 \u0432\u0441\u0435 .gguf \u0438\u0437 .\/models \u0432\u0438\u0434\u043d\u044b \u0432 UI,                         \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0434\u0440\u043e\u043f\u0434\u0430\u0443\u043d,                          \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c (--models-max 1),                          \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 auto.                           -s, --single           \u0432\u044b\u0431\u043e\u0440 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.    -r, --reasoning        \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439  -rn, --reasoning-off   \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439EOF            exit 0            ;;        *) echo \"\u041d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0444\u043b\u0430\u0433: $1 (\u0441\u043c. --help)\"; exit 1 ;;    esac    shiftdone# --- 1. \u0421\u0431\u043e\u0440\u043a\u0430 llama.cpp \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 ---LLAMA_SERVER=\"$LLAMA_DIR\/build\/bin\/llama-server\"if [ ! -x \"$LLAMA_SERVER\" ]; then    echo \"[*] \u0421\u043e\u0431\u0438\u0440\u0430\u044e llama.cpp (\u043f\u0435\u0440\u0432\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a, \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043d\u044f\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0442)...\"    if [ ! -d \"$LLAMA_DIR\/.git\" ]; then        git clone --depth=1 https:\/\/github.com\/ggerganov\/llama.cpp.git \"$LLAMA_DIR\"    fi    cmake -S \"$LLAMA_DIR\" -B \"$LLAMA_DIR\/build\" -DCMAKE_BUILD_TYPE=Release -DLLAMA_BUILD_UI=ON    cmake --build \"$LLAMA_DIR\/build\" --config Release -j \"$NPROC\"fi[ -x \"$LLAMA_SERVER\" ] || { echo \"[!] \u0421\u0431\u043e\u0440\u043a\u0430 \u043d\u0435 \u0443\u0434\u0430\u043b\u0430\u0441\u044c: $LLAMA_SERVER \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\"; exit 1; }# --- 2. \u041c\u043e\u0434\u0435\u043b\u0438 ---mkdir -p \"$MODELS_DIR\"# \u041f\u0430\u043f\u043a\u0430 \u0441 \u043c\u0435\u0434\u0438\u0430-\u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (\u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0435\u0451 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445)MEDIA_MODELS_DIR=\"$MODELS_DIR\/media\"mapfile -t MODELS &lt; &lt;(    find \"$MODELS_DIR\" -maxdepth 2 -type f -name \"*.gguf\" \\        ! -name \"*mmproj*\" \\        ! -path \"$MEDIA_MODELS_DIR\/*\" \\    | sort)if [ ${#MODELS[@]} -eq 0 ]; then    echo \"[!] \u0412 $MODELS_DIR \u043d\u0435\u0442 .gguf \u0444\u0430\u0439\u043b\u043e\u0432.\"; exit 1fiif [ \"$SINGLE_MODEL\" -eq 1 ]; then    # --- \u0420\u0435\u0436\u0438\u043c \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438    if [ -n \"${MODEL_NAME_ARG:-}\" ]; then        # \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f: \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c .gguf, \u0435\u0441\u043b\u0438 \u043d\u0435\u0442        [[ \"$MODEL_NAME_ARG\" != *.gguf ]] &amp;&amp; MODEL_NAME_ARG=\"${MODEL_NAME_ARG}.gguf\"        MODEL_PATH=\"\"        for m in \"${MODELS[@]}\"; do            if [ \"$(basename \"$m\")\" = \"$MODEL_NAME_ARG\" ]; then                MODEL_PATH=\"$m\"                break            fi        done        [ -n \"$MODEL_PATH\" ] || {            echo \"[!] \u041c\u043e\u0434\u0435\u043b\u044c '$MODEL_NAME_ARG' \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u0430. \u0414\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435:\"            for m in \"${MODELS[@]}\"; do echo \"    $(basename \"$m\")\"; done            exit 1        }    else        if [ ${#MODELS[@]} -eq 1 ]; then            MODEL_PATH=\"${MODELS[0]}\"        else            echo \"[*] \u041d\u0430\u0439\u0434\u0435\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439:\"            select MODEL_PATH in \"${MODELS[@]}\"; do                [ -n \"${MODEL_PATH:-}\" ] &amp;&amp; break            done        fi    fi    echo \"[*] \u0420\u0435\u0436\u0438\u043c \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438: $MODEL_PATH ($(du -h \"$MODEL_PATH\" | cut -f1))\"else    # --- \u0420\u0435\u0436\u0438\u043c \u0440\u043e\u0443\u0442\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439    echo \"[*] Router mode: \u043a\u0430\u0442\u0430\u043b\u043e\u0433 $MODELS_DIR (${#MODELS[@]} \u0448\u0442.), --models-max 1\"fi# --- 3. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0437\u0430\u043d\u044f\u0442\u043e\u0441\u0442\u0438 \u043f\u043e\u0440\u0442\u0430 ---for h in 127.0.0.1 0.0.0.0; do    if (echo &gt;\/dev\/tcp\/$h\/$PORT) 2&gt;\/dev\/null; then        echo \"[!] \u041f\u043e\u0440\u0442 $PORT \u0443\u0436\u0435 \u0437\u0430\u043d\u044f\u0442 ($h). \u041e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438\u043b\u0438 \u0441\u043c\u0435\u043d\u0438\u0442\u0435 PORT.\"        exit 1    fidone# --- 4. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0444\u043b\u0430\u0433\u043e\u0432 (\u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u0441\u0442\u0430\u0440\u044b\u0445\/\u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439) ---HELP_OUT=\"$(\"$LLAMA_SERVER\" --help 2&gt;&amp;1 || true)\"OPT_FLAGS=()echo \"$HELP_OUT\" | grep -q -- \"--no-warmup\" &amp;&amp; OPT_FLAGS+=(\"--no-warmup\")echo \"$HELP_OUT\" | grep -q -- \"--flash-attn\" &amp;&amp; OPT_FLAGS+=(\"-fa\" \"on\")echo \"$HELP_OUT\" | grep -q -- \"--no-repack\" &amp;&amp; OPT_FLAGS+=(\"--no-repack\")# \u041e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 reasoning \u0434\u043b\u044f Qwen3.x (\u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f)REASON_ARGS=()if echo \"$HELP_OUT\" | grep -q -- \"--reasoning \"; then    case \"$REASONING\" in        on)   REASON_ARGS+=(--reasoning on) ;;        auto) REASON_ARGS+=(--reasoning auto) ;;        off)  REASON_ARGS+=(--reasoning off) ;;    esac    # \u0411\u044e\u0434\u0436\u0435\u0442: 0 \u0434\u043b\u044f off, REASONING_BUDGET \u0434\u043b\u044f on\/auto    if echo \"$HELP_OUT\" | grep -q -- \"--reasoning-budget\"; then        if [ \"$REASONING\" = \"off\" ]; then            REASON_ARGS+=(--reasoning-budget 0)        else            REASON_ARGS+=(--reasoning-budget \"$REASONING_BUDGET\")        fi    fifi# KV-cache \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f (\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 ~50% \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442)KV_ARGS=()if echo \"$HELP_OUT\" | grep -q -- \"--cache-type-k\"; then    KV_ARGS+=(\"-ctk\" \"q8_0\" \"-ctv\" \"q8_0\")fiecho \"[*] Load mode: $LOAD_MODE\"[ ${#OPT_FLAGS[@]} -gt 0 ]    &amp;&amp; echo \"[*] \u0424\u043b\u0430\u0433\u0438: ${OPT_FLAGS[*]}\"[ ${#KV_ARGS[@]} -gt 0 ]      &amp;&amp; echo \"[*] KV-\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f: ${KV_ARGS[*]}\"[ ${#REASON_ARGS[@]} -gt 0 ]  &amp;&amp; echo \"[*] Reasoning: ${REASON_ARGS[*]}\"# \u0418\u0449\u0435\u0442 mmproj-\u0444\u0430\u0439\u043b, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 # \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0440\u043e\u0443\u0442\u0435\u0440 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438.# $1 \u2014 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043a .gguf \u0444\u0430\u0439\u043b\u0443 \u043c\u043e\u0434\u0435\u043b\u0438.# \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u0443\u0442\u044c \u043a mmproj \u0447\u0435\u0440\u0435\u0437 echo \u0438\u043b\u0438 \u043f\u0443\u0441\u0442\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443, \u0435\u0441\u043b\u0438 \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d.find_mmproj_for_model() {    local model_path=\"$1\"    local model_dir model_file model_base short_name    model_dir=\"$(dirname \"$model_path\")\"    model_file=\"$(basename \"$model_path\")\"    # \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u0441\u0430\u043c \u0444\u0430\u0439\u043b mmproj \u2014 \u043d\u0435 \u0438\u0449\u0435\u043c \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440    if [[ \"$model_file\" == *mmproj* ]]; then        return 1    fi    model_base=\"${model_file%.gguf}\"    short_name=\"$(echo \"$model_base\" | sed -E 's\/[-_](Q[0-9]+(_[A-Z0-9]+)*|F16|F32|BF16|UD-Q[0-9]+(_[A-Z0-9]+)*)$\/\/')\"    # \u041f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442 1: \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \"mmproj-&lt;short_name&gt;.gguf\"    local candidate=\"$model_dir\/mmproj-${short_name}.gguf\"    if [ -f \"$candidate\" ]; then        echo \"$candidate\"        return 0    fi    # \u041f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442 2: \u043b\u044e\u0431\u043e\u0439 mmproj \u0432 \u043f\u0430\u043f\u043a\u0435, \u0438\u043c\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 short_name    # (\u043f\u043b\u043e\u0441\u043a\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430: mmproj-&lt;\u0438\u043c\u044f-\u043c\u043e\u0434\u0435\u043b\u0438&gt;.gguf \u0440\u044f\u0434\u043e\u043c \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e)    for f in \"$model_dir\"\/*mmproj*.gguf \"$model_dir\"\/*.mmproj*.gguf; do        [ -f \"$f\" ] || continue        if [[ \"$(basename \"$f\")\" == *\"$short_name\"* ]]; then            echo \"$f\"            return 0        fi    done    # \u041f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442 3: \u043b\u044e\u0431\u043e\u0439 mmproj \u0432 \u043f\u0430\u043f\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438    # (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0440\u043e\u0443\u0442\u0435\u0440\u0430: model.gguf + mmproj-F16.gguf \u0432 \u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0435)    for f in \"$model_dir\"\/*mmproj*.gguf; do        [ -f \"$f\" ] &amp;&amp; { echo \"$f\"; return 0; }    done    echo \"\"    return 1}# --- 5. \u0421\u0431\u043e\u0440\u043a\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u044b ---SERVER_CMD=(    \"$LLAMA_SERVER\"    --host \"$HOST\"    --port \"$PORT\"    --threads \"$THREADS\"    --ctx-size \"$CTX_SIZE\"    --load-mode \"$LOAD_MODE\"    -lv 4    \"${OPT_FLAGS[@]}\"    \"${KV_ARGS[@]}\"    \"${REASON_ARGS[@]}\")if [ \"$SINGLE_MODEL\" -eq 1 ]; then    # \u041e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u0437\u0430\u0434\u0430\u043d\u043d\u0430\u044f \u044f\u0432\u043d\u043e    SERVER_CMD+=(-m \"$MODEL_PATH\")        # \u0438\u0449\u0435\u043c mmproj \u0434\u043b\u044f \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439    MMPROJ_PATH=\"$(find_mmproj_for_model \"$MODEL_PATH\" || true)\"    if [ -n \"$MMPROJ_PATH\" ]; then        echo \"[*] \u041d\u0430\u0439\u0434\u0435\u043d mmproj: $(basename \"$MMPROJ_PATH\")\"    else        # \u041d\u0435 \u043e\u0448\u0438\u0431\u043a\u0430: \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439        echo \"[*] mmproj \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d (\u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043a\u0430\u043a \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f)\"    fi    [ -n \"$MMPROJ_PATH\" ] &amp;&amp; SERVER_CMD+=(--mmproj \"$MMPROJ_PATH\")else    # Router mode \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u043e\u0434\u043d\u0430, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u0432 UI    SERVER_CMD+=(--models-dir \"$MODELS_DIR\" --models-max 1)fiif [ -n \"$LLAMA_API_KEY\" ]; then    SERVER_CMD+=(--api-key \"$LLAMA_API_KEY\")    echo \"[*] \u0410\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 (API-\u043a\u043b\u044e\u0447 \u0437\u0430\u0434\u0430\u043d)\"else    echo \"[*] \u0410\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0430 (\u043a\u043b\u044e\u0447 \u043d\u0435 \u0437\u0430\u0434\u0430\u043d)\"fi# --- 6. \u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0444\u043e\u043d\u0430 \u0438 trap ---LOG_FILE=\"$(mktemp -t llama-server.XXXXXX.log)\"SERVER_PID=\"\"TAIL_PID=\"\"UNIT_NAME=\"llama-server-$$\"USE_SYSTEMD=0cleanup() {    [ -t 1 ] &amp;&amp; echo \"\"    [ -t 1 ] &amp;&amp; echo \"[*] \u0417\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435...\"    if [ \"$USE_SYSTEMD\" -eq 1 ]; then        systemctl --user stop \"$UNIT_NAME\" 2&gt;\/dev\/null || true    fi    if [ -n \"$SERVER_PID\" ]; then        kill \"$SERVER_PID\" 2&gt;\/dev\/null || true        wait \"$SERVER_PID\" 2&gt;\/dev\/null || true    fi    [ -n \"$TAIL_PID\" ] &amp;&amp; kill \"$TAIL_PID\" 2&gt;\/dev\/null || true    rm -f \"$LOG_FILE\"    [ -t 1 ] &amp;&amp; echo \"[*] \u0413\u043e\u0442\u043e\u0432\u043e.\"}trap cleanup EXIT INT TERM# --- 7. \u0417\u0430\u043f\u0443\u0441\u043a \u0441 \u043b\u0438\u043c\u0438\u0442\u043e\u043c \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 systemd-run ---if command -v systemd-run &amp;&gt;\/dev\/null; then    USE_SYSTEMD=1    echo \"[*] \u0417\u0430\u043f\u0443\u0441\u043a \u043f\u043e\u0434 systemd-run: MemoryMax=$MEM_MAX, MemoryHigh=$MEM_HIGH, swap=off\"    if ! systemd-run --user --unit=\"$UNIT_NAME\" \\            -p MemoryMax=\"$MEM_MAX\" \\            -p MemoryHigh=\"$MEM_HIGH\" \\            -p MemorySwapMax=0 \\            -p StandardOutput=file:\"$LOG_FILE\" \\            -p StandardError=file:\"$LOG_FILE\" \\            -- \"${SERVER_CMD[@]}\" &gt;\/dev\/null 2&gt;&amp;1; then        echo \"[!] systemd-run \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d, \u043e\u0442\u043a\u0430\u0442\u044b\u0432\u0430\u044e\u0441\u044c \u043d\u0430 \u0437\u0430\u043f\u0443\u0441\u043a \u0431\u0435\u0437 \u043b\u0438\u043c\u0438\u0442\u0430.\"        USE_SYSTEMD=0    fifiif [ \"$USE_SYSTEMD\" -eq 0 ]; then    echo \"[*] \u0417\u0430\u043f\u0443\u0441\u043a \u0432 \u0444\u043e\u043d\u0435 \u0431\u0435\u0437 \u043b\u0438\u043c\u0438\u0442\u0430 \u043f\u0430\u043c\u044f\u0442\u0438\"    \"${SERVER_CMD[@]}\" &gt;\"$LOG_FILE\" 2&gt;&amp;1 &amp;    SERVER_PID=$!fi# \u041f\u0440\u043e\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c \u043b\u043e\u0433 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438# \u0435\u0441\u043b\u0438 \u0441\u043a\u0440\u0438\u043f\u0442 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d \u043a \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0443[ -t 1 ] &amp;&amp; tail -n +1 -f \"$LOG_FILE\" &amp;TAIL_PID=$!# --- 8. \u041e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438 ---echo \"[*] \u0416\u0434\u0443 \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 (\u0434\u043e 600 \u0441)...\"READY=0for _ in $(seq 1 600); do    if [ \"$USE_SYSTEMD\" -eq 1 ]; then        systemctl --user is-active \"$UNIT_NAME\" &amp;&gt;\/dev\/null || {            echo \"[!] \u0421\u0435\u0440\u0432\u0435\u0440 \u0443\u043c\u0435\u0440 \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u043b\u043e\u0433\u0430:\"            tail -n 40 \"$LOG_FILE\"; exit 1;        }    else        kill -0 \"$SERVER_PID\" 2&gt;\/dev\/null || {            echo \"[!] \u0421\u0435\u0440\u0432\u0435\u0440 \u0443\u043c\u0435\u0440 \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u043b\u043e\u0433\u0430:\"            tail -n 40 \"$LOG_FILE\"; exit 1;        }    fi    if curl -sf \"http:\/\/127.0.0.1:$PORT\/health\" &gt;\/dev\/null 2&gt;&amp;1; then        READY=1; break    fi    sleep 1done[ \"$READY\" -eq 1 ] || { echo \"[!] \u0421\u0435\u0440\u0432\u0435\u0440 \u043d\u0435 \u043f\u043e\u0434\u043d\u044f\u043b\u0441\u044f \u0437\u0430 120 \u0441.\"; exit 1; }# --- 9. \u041f\u043b\u0430\u0448\u043a\u0430 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f ---echo \"\"echo \"============================================================\"echo \"  llama.cpp server is UP\"echo \"------------------------------------------------------------\"echo \"  Web UI:     http:\/\/127.0.0.1:$PORT\"echo \"  OpenAI API: http:\/\/127.0.0.1:$PORT\/v1\"echo \"  \u0428\u043f\u0430\u0440\u0433\u0430\u043b\u043a\u0430: file:\/\/$SCRIPT_DIR\/web\/models.html\"if [ \"$SINGLE_MODEL\" -eq 1 ]; then    echo \"  \u0420\u0435\u0436\u0438\u043c:      \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c ($(basename \"$MODEL_PATH\"))\"else    echo \"  \u0420\u0435\u0436\u0438\u043c:      router (\u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 .\/models, max 1 \u0432 RAM)\"fiecho \"  Threads:    $THREADS (\u0438\u0437 $NPROC)\"echo \"  Ctx size:   $CTX_SIZE\"if [ \"$USE_SYSTEMD\" -eq 1 ]; then    echo \"  Mem cap:    $MEM_MAX (systemd-run, swap=off)\"else    echo \"  Mem cap:    \u0411\u0415\u0417 \u041b\u0418\u041c\u0418\u0422\u0410 (systemd-run \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d)\"fiecho \"------------------------------------------------------------\"echo \"  Ctrl+C \u2014 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c.\"echo \"============================================================\"echo \"\"# --- 10. \u041e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u043f\u0430\u0434\u0435\u043d\u0438\u0439 ---while true; do    if [ \"$USE_SYSTEMD\" -eq 1 ]; then        systemctl --user is-active \"$UNIT_NAME\" &amp;&gt;\/dev\/null || { echo \"[!] \u0421\u0435\u0440\u0432\u0435\u0440 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d.\"; break; }    else        kill -0 \"$SERVER_PID\" 2&gt;\/dev\/null || { echo \"[!] \u0421\u0435\u0440\u0432\u0435\u0440 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d.\"; break; }    fi    sleep 10done<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h4>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430<\/h4>\n<p><strong>1. \u0421\u0435\u0440\u0432\u0435\u0440 \u043f\u043e\u0434\u043d\u044f\u043b\u0441\u044f:<\/strong><\/p>\n<pre><code class=\"bash\">.\/run_llama_mmap.sh -m Qwen3.5-2B-Q4_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0412 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f \u043f\u043b\u0430\u0448\u043a\u0430:<\/p>\n<pre><code>============================================================  llama.cpp server is UP------------------------------------------------------------  Web UI:     http:\/\/127.0.0.1:8080  OpenAI API: http:\/\/127.0.0.1:8080\/v1  ...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><strong>2. \u0420\u043e\u0434\u043d\u043e\u0439 UI \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u0442\u043a\u0440\u043e\u0439\u0442\u0435 <a href=\"http:\/\/127.0.0.1:8080\" rel=\"noopener nofollow\"><code>http:\/\/127.0.0.1:8080<\/code><\/a> \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0434\u0440\u043e\u043f\u0434\u0430\u0443\u043d\u0435 (router mode) \u0438\u043b\u0438 \u043e\u043d\u0430 \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 (single mode).<\/p>\n<\/li>\n<li>\n<p>\u041e\u0442\u043f\u0440\u0430\u0432\u044c\u0442\u0435 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u2014 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0438\u0439\u0442\u0438 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p><strong>3. API \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442:<\/strong><\/p>\n<pre><code class=\"bash\">curl http:\/\/127.0.0.1:8080\/v1\/chat\/completions \\  -H \"Content-Type: application\/json\" \\  -d '{\"messages\":[{\"role\":\"user\",\"content\":\"\u041f\u0440\u0438\u0432\u0435\u0442\"}],\"stream\":false}'<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><strong>4. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u044c:<\/strong><\/p>\n<pre><code class=\"bash\"># RSS \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432 RAM)ps -o pid,comm,rss,%mem -C llama-server# cgroup: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043d\u044f\u0442\u043e \u0438 \u043a\u0430\u043a\u043e\u0435 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435cat \/sys\/fs\/cgroup\/user.slice\/user-$(id -u).slice\/user@$(id -u).service\/llama-server-*.service\/memory.currentcat \/sys\/fs\/cgroup\/user.slice\/user-$(id -u).slice\/user@$(id -u).service\/llama-server-*.service\/memory.pressure<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0415\u0441\u043b\u0438 <code>memory.current<\/code> \u0431\u043b\u0438\u0437\u043a\u043e \u043a <code>MEM_MAX<\/code>, \u0430 <code>memory.pressure<\/code> \u0440\u0430\u0441\u0442\u0451\u0442 \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u00ab\u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u00bb \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0441 \u0434\u0438\u0441\u043a\u0430. \u042d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f <code>mmap<\/code>, \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1099482\/\">https:\/\/habr.com\/ru\/articles\/1099482\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430\u0427\u0430\u0441\u0442\u044c 2. \u0417\u0430\u043f\u0443\u0441\u043a llama.cpp \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u041d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0441\u043e\u0431\u0435\u0440\u0451\u043c llama.cpp, \u0441\u043a\u0430\u0447\u0430\u0435\u043c \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430, \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f \u0441 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c\u0438 \u043e\u043f\u0446\u0438\u044f\u043c\u0438 (mmap, \u043b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438, mmproj) \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0441\u0435\u0440\u0432\u0435\u0440. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0443 \u0432\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0447\u0430\u0442 \u043f\u043e \u0430\u0434\u0440\u0435\u0441\u0443 http:\/\/127.0.0.1:8080 \u2014 \u0441 \u0440\u043e\u0434\u043d\u044b\u043c \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c llama.cpp (\u043f\u043e\u043a\u0430 \u0431\u0435\u0437 Open WebUI).\u0427\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430llama.cpp \u2014 \u044d\u0442\u043e C++ \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 LLM. \u041e\u043d \u0443\u043c\u0435\u0435\u0442:\u0420\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 CPU (\u0431\u0435\u0437 GPU) \u2014 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e.\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 mmap \u2014 \u043d\u0435 \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0435\u0451 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 RAM, \u0430 \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438.\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 cgroup (\u0447\u0435\u0440\u0435\u0437 systemd-run).\u0420\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0434\u0432\u0443\u0445 \u0440\u0435\u0436\u0438\u043c\u0430\u0445: \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c (-m) \u0438\u043b\u0438 \u00ab\u0440\u043e\u0443\u0442\u0435\u0440\u00bb \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (&#8212;models-dir), \u043a\u043e\u0433\u0434\u0430 \u0432 UI \u0432\u0438\u0434\u0435\u043d \u0441\u043f\u0438\u0441\u043e\u043a \u0432\u0441\u0435\u0445 .gguf, \u0430 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u0434\u043d\u0430.\u0422\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 Qwen3.5-2B-Q4_K_M (~1.5 \u0413\u0411), \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0431\u044b\u0441\u0442\u0440\u043e, \u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 9\u201310 \u0413\u0411 \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u043d\u0430 \u0436\u0435 \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043b\u044f \u00ab\u0441\u0432\u0435\u0440\u0445\u0431\u044b\u0441\u0442\u0440\u044b\u0445\u00bb \u0437\u0430\u0434\u0430\u0447 (\u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0438, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0438\u0434\u0435\u0439).\u0428\u0430\u0433 1. \u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438sudo apt updatesudo apt install -y \\  cmake build-essential libopenblas-dev \\  python3 python3-venv python3-pip \\  git curl wget jqlibopenblas-dev \u2014 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 CPU. build-essential \u2014 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 \u0434\u043b\u044f \u0441\u0431\u043e\u0440\u043a\u0438 llama.cpp. python3-venv \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043f\u043e\u0437\u0436\u0435 \u0434\u043b\u044f Open WebUI, \u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u0440\u0430\u0437\u0443.\u0428\u0430\u0433 2. \u0421\u0431\u043e\u0440\u043a\u0430 llama.cpp\u0421\u043a\u0440\u0438\u043f\u0442 run_llama_mmap.sh \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 llama.cpp \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435, \u0435\u0441\u043b\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0430 \u043d\u0435\u0442. \u041d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442:git clone &#8212;depth=1 https:\/\/github.com\/ggerganov\/llama.cpp.gitcd llama.cppcmake -S . -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_BUILD_UI=ONcmake &#8212;build build &#8212;config Release -j&#187;$(nproc)&#187;-DLLAMA_BUILD_UI=ON \u2014 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0440\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 llama.cpp (Svelte). \u0411\u0435\u0437 \u043d\u0435\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440 \u043e\u0442\u0434\u0430\u0451\u0442 \u0442\u043e\u043b\u044c\u043a\u043e API, \u0430 \u043a\u043e\u0440\u0435\u043d\u044c (\/) \u043f\u0443\u0441\u0442\u043e\u0439.-j$(nproc) \u2014 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0431\u043e\u0440\u043a\u0430 \u043d\u0430 \u0432\u0441\u0435\u0445 \u044f\u0434\u0440\u0430\u0445. \u041d\u0430 4-\u044f\u0434\u0435\u0440\u043d\u043e\u043c CPU \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 5\u201310 \u043c\u0438\u043d\u0443\u0442, \u043d\u0430 8+ \u2014 3\u20135 \u043c\u0438\u043d\u0443\u0442.\u0421\u0431\u043e\u0440\u043a\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 Node.js \u0434\u043b\u044f UI, \u043d\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 llama.cpp \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044e\u0442 UI \u043a\u0430\u043a \u0441\u0442\u0430\u0442\u0438\u043a\u0443, \u0442\u0430\u043a \u0447\u0442\u043e Node.js \u043d\u0435 \u043d\u0443\u0436\u0435\u043d. \u0415\u0441\u043b\u0438 \u0441\u0431\u043e\u0440\u043a\u0430 \u0440\u0443\u0433\u043d\u0451\u0442\u0441\u044f \u043d\u0430 UI \u2014 -DLLAMA_BUILD_UI=OFF, \u043d\u043e \u0442\u043e\u0433\u0434\u0430 \u0440\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 (\u0442\u043e\u043b\u044c\u043a\u043e API, \u0430 \u0447\u0430\u0442 \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0447\u0435\u0440\u0435\u0437 Open WebUI).\u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0438 \u0432 llama.cpp\/build\/bin\/:llama-server \u2014 HTTP-\u0441\u0435\u0440\u0432\u0435\u0440 \u0441 API \u0438 UI (\u0442\u043e, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043d\u0430\u0448 \u0441\u043a\u0440\u0438\u043f\u0442).llama-cli \u2014 CLI \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 (\u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438).llama-quantize \u2014 \u0443\u0442\u0438\u043b\u0438\u0442\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (\u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0435\u0439).\u0428\u0430\u0433 3. \u0421\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u041c\u043e\u0434\u0435\u043b\u044c \u2014 Qwen3.5-2B-Q4_K_M. \u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 Q4_K_M \u2014 \u00ab\u0437\u043e\u043b\u043e\u0442\u0430\u044f \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430\u00bb: \u0444\u0430\u0439\u043b ~1.5 \u0413\u0411, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a F16.\u041a\u0430\u0447\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 wget (\u0431\u0435\u0437 Python):mkdir -p modelswget -c -O models\/Qwen3.5-2B-Q4_K_M.gguf \\  &#171;https:\/\/huggingface.co\/unsloth\/Qwen3.5-2B-GGUF\/resolve\/main\/Qwen3.5-2B-Q4\\_K\\_M.gguf&#187;-c \u2014 \u0434\u043e\u043a\u0430\u0447\u043a\u0430 \u043f\u0440\u0438 \u043e\u0431\u0440\u044b\u0432\u0435. \u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u043b\u0443\u0447\u0448\u0435 wget -c, \u0447\u0435\u043c curl, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e curl \u0431\u0435\u0437 -C &#8212; \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0437\u0430\u043d\u043e\u0432\u043e.\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0438:\u041e\u0431\u044b\u0447\u043d\u044b\u0435 (\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435) \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043c\u043e\u0436\u043d\u043e \u043f\u043b\u043e\u0441\u043a\u043e, \u043f\u0440\u044f\u043c\u043e \u0432 models\/. \u0418\u043c\u044f \u0444\u0430\u0439\u043b\u0430 \u2014 &lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;-&lt;\u043a\u0432\u0430\u043d\u0442&gt;.gguf.\u041c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0435, \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 mmproj-F16.gguf. \u042d\u0442\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0436\u0438\u043c\u0430 \u0440\u043e\u0443\u0442\u0435\u0440\u0430: \u043e\u043d \u0438\u0449\u0435\u0442 mmproj \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u043f\u043a\u0435, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u0438 \u0438\u043c\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043e\u043b\u0436\u043d\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c\u0441\u044f \u0441 mmproj.\u041e\u0434\u0438\u043d mmproj \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Q4_K_M \u0438 Q8_0 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435) \u2014 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0438\u043c\u043b\u0438\u043d\u043a: ln -s mmproj-F16.gguf mmproj-Q8_0.gguf \u041d\u043e \u043f\u0440\u043e\u0449\u0435 \u2014 \u043e\u0434\u0438\u043d mmproj \u043d\u0430 \u043f\u0430\u043f\u043a\u0443, \u0430 \u0432 \u043f\u0430\u043f\u043a\u0435 \u043e\u0434\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435.\u041f\u043e\u0447\u0435\u043c\u0443 mmproj \u2014 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b, \u0430 \u043d\u0435 \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438. mmproj (multimodal projector) \u2014 \u044d\u0442\u043e \u00ab\u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u0438\u043a\u00bb \u043c\u0435\u0436\u0434\u0443 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u0412 llama.cpp \u043e\u043d \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0444\u043b\u0430\u0433\u043e\u043c &#8212;mmproj. \u0411\u0435\u0437 \u043d\u0435\u0433\u043e VL-\u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f (\u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442), \u0441 \u043d\u0438\u043c \u2014 \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u2014 \u0432 \u0448\u0430\u0433\u0435 5 \u043d\u0438\u0436\u0435.\u0428\u0430\u0433 4. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043e\u043f\u0446\u0438\u0438 llama-server\u0421\u043a\u0440\u0438\u043f\u0442 run_llama_mmap.sh \u2014 \u044d\u0442\u043e \u043e\u0431\u0451\u0440\u0442\u043a\u0430 \u043d\u0430\u0434 llama-server, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0443\u043c\u043d\u044b\u0435 \u0434\u0435\u0444\u043e\u043b\u0442\u044b. \u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0432\u0430\u0436\u043d\u044b\u0435 \u0444\u043b\u0430\u0433\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442.&#8212;load-mode mmap \u2014 \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u043e\u043f\u0446\u0438\u044f&#8212;load-mode mmap\u0417\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 llama.cpp \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c mmap \u0434\u043b\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0432\u0435\u0441\u043e\u0432. \u0427\u0442\u043e \u044d\u0442\u043e \u0434\u0430\u0451\u0442:\u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u0432 RAM \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u042f\u0434\u0440\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0444\u0430\u0439\u043b \u0432 \u0430\u0434\u0440\u0435\u0441\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0438 \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e. \u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a \u0441\u043b\u043e\u044e, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0441 \u0434\u0438\u0441\u043a\u0430; \u043a\u043e\u0433\u0434\u0430 \u0441\u043b\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u2014 \u044f\u0434\u0440\u043e \u043c\u043e\u0436\u0435\u0442 \u0435\u0451 \u0432\u044b\u0442\u0435\u0441\u043d\u0438\u0442\u044c.\u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u043e\u043b\u044c\u0448\u0435 RAM. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 20-\u0433\u0438\u0433\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 10 \u0413\u0411 RAM. \u042f\u0434\u0440\u043e \u0434\u0435\u0440\u0436\u0438\u0442 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u00ab\u0433\u043e\u0440\u044f\u0447\u0438\u0435\u00bb \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2014 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435.\u041d\u0435\u0442 \u0438\u0437\u043d\u043e\u0441\u0430 SSD. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 swap, mmap \u043d\u0435 \u043f\u0438\u0448\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u2014 \u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435, \u0438\u0445 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c.\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b:&#8212;load-mode none \u2014 \u0433\u0440\u0443\u0437\u0438\u0442 \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 RAM. \u0423\u043f\u0430\u0434\u0451\u0442 \u0441 OOM, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438.&#8212;load-mode mlock \u2014 \u0433\u0440\u0443\u0437\u0438\u0442 \u0438 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442 \u0432 RAM (\u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0432\u044b\u0442\u0435\u0441\u043d\u044f\u0442\u044c). \u0411\u044b\u0441\u0442\u0440\u043e, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f.&#8212;load-mode dio \u2014 DirectIO, \u0447\u0442\u0435\u043d\u0438\u0435 \u0432 \u043e\u0431\u0445\u043e\u0434 page cache. \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 llama.cpp \u0431\u0430\u0433\u043e\u0432\u0430\u043d (\u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0431\u0443\u0444\u0435\u0440\u044b \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0441 \u043c\u043e\u0434\u0435\u043b\u044c). \u041d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0431\u0435\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u041f\u0435\u0440\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0441\u0430\u043c\u044b\u0439 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439: \u044f\u0434\u0440\u043e \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0441 \u0434\u0438\u0441\u043a\u0430. \u041d\u0430 HDD \u044d\u0442\u043e 5\u201310 \u043c\u0438\u043d\u0443\u0442 \u0434\u043b\u044f 20-\u0433\u0438\u0433\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u2014 \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0443\u0436\u0435 \u0432 page cache. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 RAM \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u00ab\u0433\u043e\u0440\u044f\u0447\u0438\u0445\u00bb \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435.&#8212;no-repack \u2014 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0430 CPU&#8212;no-repackllama.cpp \u043f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0432\u0442\u043e\u0440\u0443\u044e \u043a\u043e\u043f\u0438\u044e \u0432\u0435\u0441\u043e\u0432, \u043f\u0435\u0440\u0435\u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 (CPU_REPACK). \u042d\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u043f\u0438\u043a\u043e\u0432\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 RAM. \u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438 \u0442\u0430\u043a \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u0435\u0442, \u2014 \u0444\u0430\u0442\u0430\u043b\u044c\u043d\u043e (\u0431\u044b\u043b \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: CPU model buffer 9.4 \u0413\u0411 + CPU_REPACK 11.2 \u0413\u0411 = 20.6 \u0413\u0411 \u043f\u0440\u0438 \u043b\u0438\u043c\u0438\u0442\u0435 10 \u0413\u0411 -&gt; OOM). &#8212;no-repack \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0443. \u0426\u0435\u043d\u0430 \u2014 ~10\u201315% \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u00ab\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0445\u043e\u0442\u044c \u043a\u0430\u043a-\u0442\u043e\u00bb \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441.-ctk q8_0 -ctv q8_0 \u2014 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f KV-cache&#8212;cache-type-k q8_0 &#8212;cache-type-v q8_0KV-cache \u2014 \u044d\u0442\u043e \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 (\u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430). \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043e\u043d \u0432 f16, \u0447\u0442\u043e \u0434\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u044b. q8_0 \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u0435\u0433\u043e \u0432 2 \u0440\u0430\u0437\u0430 (~50% \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438) \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u00ab\u0435\u043b\u0435 \u0432\u043b\u0435\u0437\u0430\u044e\u0442\u00bb \u0432 \u043b\u0438\u043c\u0438\u0442, \u044d\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e.&#8212;reasoning on | off | auto \u2014 \u00ab\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f\u00bb Qwen3.x&#8212;reasoning auto&#8212;reasoning-budget 768\u041d\u043e\u0432\u044b\u0435 Qwen-\u043c\u043e\u0434\u0435\u043b\u0438 (3.x, 3.5) \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0440\u0435\u0436\u0438\u043c \u00ab\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439\u00bb: \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 (reasoning_content), \u043f\u043e\u0442\u043e\u043c \u2014 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u042d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 (\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, RAG, \u043f\u043e\u044d\u0437\u0438\u044f), \u043d\u043e:\u041d\u0430 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445 (\u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb) \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u00ab\u0434\u0443\u043c\u0430\u0442\u044c\u00bb 400+ \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e \u043d\u0430 CPU \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043c\u0438\u043d\u0443\u0442\u044b. \u041e\u0442\u0441\u044e\u0434\u0430 &#8212;reasoning off \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0447\u0430\u0442\u0430.&#8212;reasoning-budget N \u2014 \u0436\u0451\u0441\u0442\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f. \u041f\u043e\u0441\u043b\u0435 N \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u0438\u043d\u0443\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u043b\u043e\u043a \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 \u0438 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c. \u0411\u0435\u0437 \u043d\u0435\u0433\u043e reasoning \u043c\u043e\u0436\u0435\u0442 \u00ab\u0441\u044a\u0435\u0441\u0442\u044c\u00bb \u0432\u0435\u0441\u044c ctx-size \u0438 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043c\u0435\u0441\u0442\u0430 (\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0434\u0443\u043c\u0430\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u00bb, \u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0442\u0430\u043a \u0438 \u043d\u0435 \u0434\u0430\u043b\u0430 \u2014 \u0443\u043f\u0451\u0440\u043b\u0430\u0441\u044c \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442).\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f: auto (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0435) \u0441 &#8212;reasoning-budget 768. \u0414\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u2014 -rn (off).&#8212;ctx-size \u2014 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430&#8212;ctx-size 3096\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043f\u043e\u043c\u043d\u0438\u0442\u00bb (\u043f\u0440\u043e\u043c\u043f\u0442 + \u0438\u0441\u0442\u043e\u0440\u0438\u044f + reasoning + \u043e\u0442\u0432\u0435\u0442). \u0411\u043e\u043b\u044c\u0448\u0435 \u2014 \u043b\u0443\u0447\u0448\u0435 \u0434\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 RAG, \u043d\u043e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u0434 KV-cache. \u041f\u043e\u0434\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u043f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u0443: \u0434\u043b\u044f \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\/\u041a\u0430\u043a \u0434\u0435\u043b\u0430\u00bb \u0445\u0432\u0430\u0442\u0438\u0442 2048, \u0434\u043b\u044f \u0441\u0430\u043c\u043c\u0430\u0440\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 4096+.&#8212;threads \u2014 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432 CPU&#8212;threads $(( $(nproc) &#8212; 2 ))\u0421\u043a\u0440\u0438\u043f\u0442 \u0431\u0435\u0440\u0451\u0442 nproc &#8212; 2: \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 2 \u044f\u0434\u0440\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u0434\u0432\u0438\u0441\u0430\u043b\u0430, \u043f\u043e\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u0442. \u0414\u043b\u044f 4-\u044f\u0434\u0435\u0440\u043d\u043e\u0433\u043e CPU \u2014 2 \u043f\u043e\u0442\u043e\u043a\u0430, \u0434\u043b\u044f 8-\u044f\u0434\u0435\u0440\u043d\u043e\u0433\u043e \u2014 6. \u0411\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u2260 \u0431\u044b\u0441\u0442\u0440\u0435\u0435: \u043d\u0430 \u0433\u0438\u043f\u0435\u0440\u0442\u0440\u0435\u0434\u0438\u043d\u0433\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0438\u0437-\u0437\u0430 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u0438 \u0437\u0430 \u043a\u044d\u0448.&#8212;models-dir \u0438 &#8212;models-max 1 \u2014 \u0440\u0435\u0436\u0438\u043c \u0440\u043e\u0443\u0442\u0435\u0440\u0430&#8212;models-dir .\/models &#8212;models-max 1\u0412\u043c\u0435\u0441\u0442\u043e -m &lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt; \u0441\u043a\u0440\u0438\u043f\u0442 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0440\u043e\u0443\u0442\u0435\u0440: \u0432 UI \u0432\u0438\u0434\u0435\u043d \u0434\u0440\u043e\u043f\u0434\u0430\u0443\u043d \u0441\u043e \u0432\u0441\u0435\u043c\u0438 .gguf \u0438\u0437 models\/, \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. &#8212;models-max 1 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c: \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u0441\u0442\u0430\u0440\u0430\u044f \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f, \u043d\u043e\u0432\u0430\u044f \u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f. \u0414\u043b\u044f \u043b\u0438\u043c\u0438\u0442\u0430 10 \u0413\u0411 \u2014 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0438\u043d\u0430\u0447\u0435 \u0440\u043e\u0443\u0442\u0435\u0440 \u043f\u043e\u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 OOM.\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 \u2014 \u0440\u0435\u0436\u0438\u043c \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438: -m &lt;\u0438\u043c\u044f&gt; (\u0438\u043b\u0438 -s \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430). \u0422\u043e\u0433\u0434\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u0433\u0440\u0443\u0437\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u0431\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440\u0430. \u0427\u0443\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u0442, \u0447\u0443\u0442\u044c \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432. \u0423\u0434\u043e\u0431\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u0430.\u041b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 systemd-runsystemd-run &#8212;user &#8212;unit=llama-server-$$ \\    -p MemoryMax=10G \\    -p MemoryHigh=9G \\    -p MemorySwapMax=0 \\    &#8212; llama-server &#8230;\u0421\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a \u0432 cgroup \u0441 \u043b\u0438\u043c\u0438\u0442\u0430\u043c\u0438:MemoryMax=10G \u2014 \u0436\u0451\u0441\u0442\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442. \u041f\u0440\u0438 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d\u0438\u0438 cgroup \u0443\u0431\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 (OOM-kill). \u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0436\u0438\u0432\u0430.MemoryHigh=9G \u2014 \u043c\u044f\u0433\u043a\u0438\u0439 \u043b\u0438\u043c\u0438\u0442. \u041f\u0440\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043a \u043d\u0435\u043c\u0443 \u044f\u0434\u0440\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e \u0432\u044b\u0442\u0435\u0441\u043d\u044f\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b mmap \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043d\u0430 \u0434\u0438\u0441\u043a (\u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c OOM).MemorySwapMax=0 \u2014 \u0437\u0430\u043f\u0440\u0435\u0442 swap. \u0411\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u044f\u0434\u0440\u043e \u043c\u043e\u0433\u043b\u043e \u0431\u044b \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c \u0430\u043d\u043e\u043d\u0438\u043c\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c (KV-cache, \u0431\u0443\u0444\u0435\u0440\u044b) \u0432 swap, \u0447\u0442\u043e \u0434\u043b\u044f mmap-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043a\u0430\u0442\u0430\u0441\u0442\u0440\u043e\u0444\u0430 \u043f\u043e I\/O.\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f MEM_MAX\/MEM_HIGH \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 env: MEM_MAX=14G .\/run_llama_mmap.sh.\u0428\u0430\u0433 5. mmproj \u2014 \u0447\u0442\u043e \u044d\u0442\u043e \u0438 \u043a\u0430\u043a \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044cmmproj (multimodal projector) \u2014 \u044d\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0444\u0430\u0439\u043b (~300\u2013600 \u041c\u0411), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u00ab\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u00bb \u0432\u044b\u0445\u043e\u0434\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 (ViT) \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u0435\u0437 \u043d\u0435\u0433\u043e VL-\u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f; \u0441 \u043d\u0438\u043c \u2014 \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438.\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f:\u0418\u043c\u044f \u0444\u0430\u0439\u043b\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 mmproj (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, mmproj-F16.gguf, mmproj-Qwen3VL-4B-F16.gguf).\u041b\u0435\u0436\u0438\u0442 \u0432 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u043f\u043a\u0435, \u0447\u0442\u043e \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u043e\u0443\u0442\u0435\u0440\u0430, \u0433\u0434\u0435 llama.cpp \u0438\u0449\u0435\u0442 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440 \u043f\u043e \u043f\u0430\u043f\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438. \u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432 \u043b\u043e\u0433\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f:clip_model_load: loaded meta data &#8230;clip_model_load: model size = &#8230;\u0415\u0441\u043b\u0438 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u043e\u043a \u043d\u0435\u0442 \u2014 mmproj \u043d\u0435 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u0438\u043b\u0441\u044f, \u0438 \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u043a\u0430\u0436\u0435\u0442 Images require a vision-capable model.\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 mmproj \u043d\u0435\u0442 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438:\u041d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e, \u0435\u0441\u043b\u0438 vision \u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f.\u0415\u0441\u043b\u0438 vision \u043d\u0443\u0436\u0435\u043d, \u043d\u043e mmproj \u043d\u0435\u0442 \u2014 \u0438\u0449\u0438\u0442\u0435 \u0435\u0433\u043e \u0432 \u0442\u043e\u043c \u0436\u0435 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043d\u0430 Hugging Face (\u043e\u0431\u044b\u0447\u043d\u043e mmproj-*.gguf \u043b\u0435\u0436\u0438\u0442 \u0440\u044f\u0434\u043e\u043c \u0441 .gguf-\u043c\u043e\u0434\u0435\u043b\u044c\u044e).\u041d\u0435 \u043f\u0443\u0442\u0430\u0439\u0442\u0435 mmproj \u0441 LLM-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 (\u0442\u0430\u043c &#8212;llm \u0432&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-500308","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500308","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=500308"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500308\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=500308"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=500308"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=500308"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}