{"id":489929,"date":"2026-08-05T20:05:38","date_gmt":"2026-08-05T20:05:38","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=489929"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=489929","title":{"rendered":"3. Bonsai-27B \u043d\u0430 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e\u043c \u0444\u043e\u0440\u043a\u0435 llama.cpp: \u043f\u043e\u043b\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043d\u0430 RTX 3050"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u042d\u0442\u043e \u0442\u0440\u0435\u0442\u044c\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e \u043c\u043e\u0439 \u0444\u043e\u0440\u043a llama.cpp. \u0412 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0438 \u043a\u0430\u043a\u0438\u0435 \u0446\u0438\u0444\u0440\u044b \u043e\u043d\u0430 \u0434\u0430\u0451\u0442 \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e: <strong>Bonsai-27B<\/strong>, \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 Delta-Net. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u0435\u0451 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0430 \u0441\u043b\u0430\u0431\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435, \u0438 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u043f\u043e\u043a\u0430\u0436\u0443 <strong>\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a<\/strong> D=0 \u043f\u0440\u043e\u0442\u0438\u0432 D=12 \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0430 \u0440\u0435\u0448\u0438\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435.<\/p>\n<blockquote>\n<p>\u0412\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u043d\u0438\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u043c\u043e\u0451\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u0432\u0436\u0438\u0432\u0443\u044e. \u041d\u0438\u043a\u0430\u043a\u043e\u0439 \u043c\u0430\u0433\u0438\u0438 \u0438 \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u00ab\u0432 \u043f\u043e\u043b\u044c\u0437\u0443\u00bb \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c.<\/p>\n<\/blockquote>\n<hr\/>\n<h3>0. \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Bonsai-27B \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u044b\u0439<\/h3>\n<p>Bonsai \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435: \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0451\u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f (Delta-Net, \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0435 \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u0435), \u0447\u0430\u0441\u0442\u044c \u2014 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 (full-attention). \u041f\u043e\u044d\u0442\u043e\u043c\u0443:<\/p>\n<ul>\n<li>\n<p>\u0412 \u043d\u0435\u0451 <strong>\u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a \u0441\u043b\u043e\u044f\u043c \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/strong> \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0438 \u0442\u0430\u043a \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b \u043f\u043e \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043a\u0440\u0430\u0439\u043d\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043f\u0430\u043c\u044f\u0442\u0438, \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Q1_0 \u0432\u0435\u0441\u0438\u0442 ~3.5 \u0413\u0411 \u2014 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 6 \u0413\u0411 VRAM \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u043f\u043e\u043b\u0438\u0433\u043e\u043d \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430: \u043b\u0451\u0433\u043a\u0438\u0435 \u0441\u043b\u043e\u0438 Delta-Net \u0434\u0430\u044e\u0442 \u00ab\u0431\u0430\u0437\u0443\u00bb, \u0430 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u043f\u043e attention-\u0441\u043b\u043e\u044f\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<\/ul>\n<h3>1. \u0427\u0442\u043e \u0442\u0435\u0431\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f<\/h3>\n<ul>\n<li>\n<p><strong>Linux\/macOS\/Windows<\/strong> (WSL \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442)<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430<\/strong>: \u043c\u043e\u044f \u2014 RTX 3050 Mobile <strong>6 \u0413\u0411<\/strong>. \u042d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong>: Bonsai-27B \u0432 GGUF (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>Bonsai-27B-Q1_0.gguf<\/code>)<\/p>\n<\/li>\n<li>\n<p><strong>Git + \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440<\/strong> (cmake, make, gcc\/clang)<\/p>\n<\/li>\n<\/ul>\n<h3>2. \u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0444\u043e\u0440\u043a<\/h3>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/cubetitled-ui\/llama.cpp.gitcd llama.cpp<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0434 NVIDIA GPU (CUDA):<\/p>\n<pre><code class=\"bash\">cmake -B build -DGGML_CUDA=ONcmake --build build -j$(nproc) --target llama-cli llama-server llama-bench<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0411\u0435\u0437 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b (CPU):<\/p>\n<pre><code class=\"bash\">cmake -B build -DGGML_AVX_VNNI=ONcmake --build build -j$(nproc) --target llama-cli<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430:<\/p>\n<pre><code class=\"bash\">.\/build\/bin\/llama-cli --version<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h3>3. \u0411\u044b\u0441\u0442\u0440\u044b\u0439 \u0441\u0442\u0430\u0440\u0442: \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438<\/h3>\n<p>\u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c <strong>\u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e<\/strong> (D=12). \u0414\u043b\u044f Bonsai \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b:<\/p>\n<pre><code class=\"bash\">.\/build\/bin\/llama-cli \\  -m \/path\/to\/Bonsai-27B-Q1_0.gguf \\  -ngl 99 \\  -fa on \\  -t 12 \\  -p \"Write a short story about a robot.\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<ul>\n<li>\n<p><code>-ngl 99<\/code> \u2014 \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443<\/p>\n<\/li>\n<li>\n<p><code>-fa on<\/code> \u2014 flash attention (\u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043f\u0440\u043e\u043c\u043f\u0442\u0430)<\/p>\n<\/li>\n<li>\n<p><code>-t 12<\/code> \u2014 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432 CPU (\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u044f\u0434\u0435\u0440)<\/p>\n<\/li>\n<\/ul>\n<h3>4. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 (\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f)<\/h3>\n<p>\u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0434 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<h4>RECURRENT_D \u2014 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 (\u0433\u043b\u0430\u0432\u043d\u044b\u0439)<\/h4>\n<p><code>0<\/code> = \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u0430, <code>12<\/code> = \u0434\u0435\u0444\u043e\u043b\u0442, <code>24<\/code> = \u0433\u043b\u0443\u0431\u043e\u043a\u0430\u044f.<\/p>\n<pre><code class=\"bash\"># \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a, \u0431\u0435\u0437 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438RECURRENT_D=0 .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99 -fa on -t 12# \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a (\u0434\u0435\u0444\u043e\u043b\u0442)RECURRENT_D=12 .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99 -fa on -t 12<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>RECURRENT_LAYERS_COUNT \u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0451\u0432 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u043c<\/h4>\n<p><code>auto<\/code> (\u0434\u0435\u0444\u043e\u043b\u0442) = \u043e\u0434\u0438\u043d \u0441\u043b\u043e\u0439 \u043d\u0430 8 \u0441\u043b\u043e\u0451\u0432 \u043c\u043e\u0434\u0435\u043b\u0438. <code>3<\/code> = \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0430 \u0441 \u0442\u0440\u0435\u043c\u044f \u044f\u043a\u043e\u0440\u044f\u043c\u0438.<\/p>\n<pre><code class=\"bash\">RECURRENT_LAYERS_COUNT=8 RECURRENT_D=12 .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>RECURRENT_KV \u2014 \u043a\u043e\u0433\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0435\u0448<\/h4>\n<p><code>last<\/code> (\u0434\u0435\u0444\u043e\u043b\u0442) \u2014 \u043a\u0435\u0448 \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0446\u0438\u043a\u043b\u0430, \u043e\u0442\u0440\u0430\u0436\u0430\u044f \u00ab\u0443\u0442\u043e\u0447\u043d\u0451\u043d\u043d\u043e\u0435\u00bb \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435.<\/p>\n<pre><code class=\"bash\">RECURRENT_KV=last .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<blockquote>\n<p>\u041f\u043e\u043b\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u2014 \u0432 <code>HOWITFUCKINGWORKS.md<\/code>, \u0440\u0430\u0437\u0434\u0435\u043b 4.<\/p>\n<\/blockquote>\n<h3>5. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a: D=0 \u043f\u0440\u043e\u0442\u0438\u0432 D=12 \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435<\/h3>\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435, \u0440\u0430\u0434\u0438 \u0447\u0435\u0433\u043e \u0432\u0441\u0451 \u0437\u0430\u0442\u0435\u0432\u0430\u043b\u043e\u0441\u044c. \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b <strong>\u0432\u0436\u0438\u0432\u0443\u044e<\/strong> \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 RTX 3050 6 \u0413\u0411 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0434\u0432\u0438\u0436\u043a\u0430\u0445, \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u0441\u0438\u0434\u043e\u043c (seed=42) \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c.<\/p>\n<h4>\u0417\u0430\u0434\u0430\u0447\u0430<\/h4>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0438\u043f\u0442\u0430\u0440\u0438\u0444\u043c \u2014 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0438 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439:<\/p>\n<blockquote>\n<p>SEND + MORE = MONEY. \u041a\u0430\u0436\u0434\u0430\u044f \u0431\u0443\u043a\u0432\u0430 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u0432\u043e\u044e \u0446\u0438\u0444\u0440\u0443 0-9, \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0443\u043a\u0432\u044b \u2014 \u0440\u0430\u0437\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b. S \u0438 M \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0443\u043b\u0451\u043c. \u041d\u0430\u0439\u0434\u0438 \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0431\u0443\u043a\u0432 S,E,N,D,M,O,R,Y. \u041f\u043e\u043a\u0430\u0436\u0438 \u043f\u043e\u043b\u043d\u044b\u0439 \u0445\u043e\u0434 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c \u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a \u0432 \u043a\u043e\u043d\u0446\u0435.<\/p>\n<\/blockquote>\n<h4>\u0423\u0441\u043b\u043e\u0432\u0438\u044f<\/h4>\n<ul>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c: Bonsai-27B-Q1_0<\/p>\n<\/li>\n<li>\n<p>GPU: RTX 3050 Mobile 6 \u0413\u0411, <code>-ngl 99<\/code><\/p>\n<\/li>\n<li>\n<p>\u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430: 0.3, seed: 42, \u043b\u0438\u043c\u0438\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: 7000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0443 \u043e\u0431\u043e\u0438\u0445)<\/p>\n<\/li>\n<\/ul>\n<h4>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">D=0 (\u0431\u0430\u0437\u043e\u0432\u044b\u0439)<\/p>\n<\/th>\n<th>\n<p align=\"left\">D=12 (\u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">7000 (\u0443\u043f\u0451\u0440\u0441\u044f \u0432 \u043b\u0438\u043c\u0438\u0442)<\/p>\n<\/td>\n<td>\n<p align=\"left\">6594<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041d\u0415\u0422 \u2014 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u043b\u0441\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0414\u0410 \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>length<\/code> (\u043d\u0435 \u0443\u0441\u043f\u0435\u043b)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>stop<\/code> (\u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b \u0441\u0430\u043c)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">~5.5 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">~5.5 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">21.1 t\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">19.8 t\/s<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h4>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e<\/h4>\n<p><strong>D=0<\/strong> \u0443\u0448\u0451\u043b \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u0441\u0430\u043c\u043e\u043a\u043e\u043f\u0430\u043d\u0438\u0435: 7000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0440\u0443\u0436\u0438\u043b\u0430 \u0432\u043e\u043a\u0440\u0443\u0433 \u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445 \u0436\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439, \u0441\u043d\u043e\u0432\u0430 \u0438 \u0441\u043d\u043e\u0432\u0430 \u00ab\u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430\u00bb \u0441\u0432\u043e\u0438 \u0436\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0442\u0430\u043a \u0438 \u043d\u0435 \u0432\u044b\u0434\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0442 \u2014 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0431\u043e\u0440\u0432\u0430\u043b\u0430\u0441\u044c \u043f\u043e \u043b\u0438\u043c\u0438\u0442\u0443 (<code>finish_reason: length<\/code>). \u042d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u00ab\u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u043d\u0438\u044f \u0432 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0438\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p><strong>D=12<\/strong> \u0434\u043e\u0432\u0451\u043b \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e: \u043d\u0430\u0448\u0451\u043b \u0440\u0435\u0448\u0435\u043d\u0438\u0435 <code>S=9, E=5, N=6, D=7, M=1, O=0, R=8, Y=2<\/code>, \u043e\u0444\u043e\u0440\u043c\u0438\u043b \u0435\u0433\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0438 <strong>\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a<\/strong>:<\/p>\n<pre><code>    9 5 6 7   (SEND)  + 1 0 8 5   (MORE)  -----------  1 0 6 5 2   (MONEY)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u043c \u0441\u043e\u0448\u043b\u0430\u0441\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e: <code>9567 + 1085 = 10652<\/code>. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0430 \u043e\u0442\u0432\u0435\u0442 \u0441\u0430\u043c\u0430, \u0431\u0435\u0437 \u043e\u0431\u0440\u0435\u0437\u043a\u0438.<\/p>\n<h4>\u0412\u044b\u0432\u043e\u0434 \u0438\u0437 \u0442\u0435\u0441\u0442\u0430<\/h4>\n<p>\u041d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a <strong>\u0434\u043e\u0432\u043e\u0434\u0438\u0442 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u043e \u043e\u0442\u0432\u0435\u0442\u0430<\/strong>, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0431\u0430\u0437\u043e\u0432\u044b\u0439 <strong>\u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0435\u0442 \u0432 \u0446\u0438\u043a\u043b\u0435<\/strong>. \u0426\u0435\u043d\u0430 \u2014 ~6% \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 (19.8 \u043f\u0440\u043e\u0442\u0438\u0432 21.1 t\/s). \u041d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u2014 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0443\u0436\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0434\u0443\u043c\u0430\u0442\u044c \u0434\u043e\u043b\u0433\u043e \u0438 \u0441\u0432\u044f\u0437\u043d\u043e.<\/p>\n<h3>6. \u041a\u0430\u043a \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u043c\u0443<\/h3>\n<p>\u041d\u0438\u043a\u043e\u043c\u0443 \u043d\u0435 \u0432\u0435\u0440\u044c \u2014 \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043c\u0435\u043d\u044f. \u0414\u0432\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u043c\u043f\u0442:<\/p>\n<pre><code class=\"bash\"># \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043aRECURRENT_D=0 .\/build\/bin\/llama-cli \\  -m \/path\/to\/Bonsai-27B-Q1_0.gguf \\  -ngl 99 -fa on -t 12 -n 7000 \\  -p \"SEND + MORE = MONEY. \u041a\u0430\u0436\u0434\u0430\u044f \u0431\u0443\u043a\u0432\u0430 - \u0441\u0432\u043e\u044f \u0446\u0438\u0444\u0440\u0430 0-9, \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0443\u043a\u0432\u044b - \u0440\u0430\u0437\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, S \u0438 M \u043d\u0435 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u041d\u0430\u0439\u0434\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f S,E,N,D,M,O,R,Y. \u041f\u043e\u043a\u0430\u0436\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a.\"# \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043aRECURRENT_D=12 .\/build\/bin\/llama-cli \\  -m \/path\/to\/Bonsai-27B-Q1_0.gguf \\  -ngl 99 -fa on -t 12 -n 7000 \\  -p \"SEND + MORE = MONEY. \u041a\u0430\u0436\u0434\u0430\u044f \u0431\u0443\u043a\u0432\u0430 - \u0441\u0432\u043e\u044f \u0446\u0438\u0444\u0440\u0430 0-9, \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0443\u043a\u0432\u044b - \u0440\u0430\u0437\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, S \u0438 M \u043d\u0435 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u041d\u0430\u0439\u0434\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f S,E,N,D,M,O,R,Y. \u041f\u043e\u043a\u0430\u0436\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a.\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 <code>finish_reason<\/code>: <code>stop<\/code> \u0443 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0431\u0440\u044b\u0432\u0430 \u043f\u043e \u043b\u0438\u043c\u0438\u0442\u0443 \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u2014 \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u0432 \u043b\u043e\u0433\u0430\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\/CLI.<\/p>\n<h3>7. \u0427\u0430\u0441\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b<\/h3>\n<p><strong>\u0412\u043e\u043f\u0440\u043e\u0441: \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c = \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435?<\/strong> \u041d\u0435\u0442. \u0412\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f. \u041c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430.<\/p>\n<p><strong>\u0412\u043e\u043f\u0440\u043e\u0441: \u043f\u043e\u0447\u0435\u043c\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0443\u043f\u0430\u043b\u0430 \u043d\u0430 6%?<\/strong> \u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u2014 \u044d\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0441\u043b\u043e\u044f. \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 = \u0447\u0443\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u042d\u0442\u043e \u043f\u043b\u0430\u0442\u0430 \u0437\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439.<\/p>\n<p><strong>\u0412\u043e\u043f\u0440\u043e\u0441: \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0435\u0449\u0451 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442?<\/strong> Qwen3.5 (Next\/MoE), Qwen2\/2-MoE, Qwen3-MoE, Qwen3-Next, Gemma 2, Mistral 3, Delta-Net (Bonsai). \u0421\u043f\u0438\u0441\u043e\u043a \u2014 \u0432 <code>HOWITFUCKINGWORKS.md<\/code>, \u0440\u0430\u0437\u0434\u0435\u043b 5.<\/p>\n<h3>8. \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/h3>\n<ul>\n<li>\n<p>\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439: <a href=\"https:\/\/github.com\/cubetitled-ui\/llama.cpp\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/cubetitled-ui\/llama.cpp<\/a><\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u0442\u043a\u0430 \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c: <a href=\"https:\/\/github.com\/cubetitled-ui\/llama.cpp\/tree\/patch-speedup\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/cubetitled-ui\/llama.cpp\/tree\/patch-speedup<\/a><\/p>\n<\/li>\n<li>\n<p>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f: <code>HOWITFUCKINGWORKS.md<\/code> \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p>\u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0433\u043e\u043d\u044f\u0442\u044c Bonsai \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u0436\u0435\u043b\u0435\u0437\u0435? \u041d\u0430\u043f\u0438\u0448\u0438 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445, \u043a\u0430\u043a\u0430\u044f \u0443 \u0442\u0435\u0431\u044f \u043a\u0430\u0440\u0442\u0430 \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u2014 \u0441\u043e\u0431\u0435\u0440\u0443 \u0441\u0432\u043e\u0434\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443. \u0414\u043e \u0441\u0432\u044f\u0437\u0438!<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1067216\/\">https:\/\/habr.com\/ru\/articles\/1067216\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u042d\u0442\u043e \u0442\u0440\u0435\u0442\u044c\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e \u043c\u043e\u0439 \u0444\u043e\u0440\u043a llama.cpp. \u0412 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0438 \u043a\u0430\u043a\u0438\u0435 \u0446\u0438\u0444\u0440\u044b \u043e\u043d\u0430 \u0434\u0430\u0451\u0442 \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e: Bonsai-27B, \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 Delta-Net. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u0435\u0451 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0430 \u0441\u043b\u0430\u0431\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435, \u0438 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u043f\u043e\u043a\u0430\u0436\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a D=0 \u043f\u0440\u043e\u0442\u0438\u0432 D=12 \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0430 \u0440\u0435\u0448\u0438\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435.\u0412\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u043d\u0438\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u043c\u043e\u0451\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u0432\u0436\u0438\u0432\u0443\u044e. \u041d\u0438\u043a\u0430\u043a\u043e\u0439 \u043c\u0430\u0433\u0438\u0438 \u0438 \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u00ab\u0432 \u043f\u043e\u043b\u044c\u0437\u0443\u00bb \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c.0. \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Bonsai-27B \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u044b\u0439Bonsai \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435: \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0451\u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f (Delta-Net, \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0435 \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u0435), \u0447\u0430\u0441\u0442\u044c \u2014 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 (full-attention). \u041f\u043e\u044d\u0442\u043e\u043c\u0443:\u0412 \u043d\u0435\u0451 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a \u0441\u043b\u043e\u044f\u043c \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0438 \u0442\u0430\u043a \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b \u043f\u043e \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438.\u041c\u043e\u0434\u0435\u043b\u044c \u043a\u0440\u0430\u0439\u043d\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043f\u0430\u043c\u044f\u0442\u0438, \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Q1_0 \u0432\u0435\u0441\u0438\u0442 ~3.5 \u0413\u0411 \u2014 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 6 \u0413\u0411 VRAM \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c.\u042d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u043f\u043e\u043b\u0438\u0433\u043e\u043d \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430: \u043b\u0451\u0433\u043a\u0438\u0435 \u0441\u043b\u043e\u0438 Delta-Net \u0434\u0430\u044e\u0442 \u00ab\u0431\u0430\u0437\u0443\u00bb, \u0430 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u043f\u043e attention-\u0441\u043b\u043e\u044f\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439.1. \u0427\u0442\u043e \u0442\u0435\u0431\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044fLinux\/macOS\/Windows (WSL \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442)\u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430: \u043c\u043e\u044f \u2014 RTX 3050 Mobile 6 \u0413\u0411. \u042d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430.\u041c\u043e\u0434\u0435\u043b\u044c: Bonsai-27B \u0432 GGUF (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Bonsai-27B-Q1_0.gguf)Git + \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 (cmake, make, gcc\/clang)2. \u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0444\u043e\u0440\u043agit clone https:\/\/github.com\/cubetitled-ui\/llama.cpp.gitcd llama.cpp\u041f\u043e\u0434 NVIDIA GPU (CUDA):cmake -B build -DGGML_CUDA=ONcmake &#8212;build build -j$(nproc) &#8212;target llama-cli llama-server llama-bench\u0411\u0435\u0437 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b (CPU):cmake -B build -DGGML_AVX_VNNI=ONcmake &#8212;build build -j$(nproc) &#8212;target llama-cli\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430:.\/build\/bin\/llama-cli &#8212;version3. \u0411\u044b\u0441\u0442\u0440\u044b\u0439 \u0441\u0442\u0430\u0440\u0442: \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e (D=12). \u0414\u043b\u044f Bonsai \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b:.\/build\/bin\/llama-cli \\  -m \/path\/to\/Bonsai-27B-Q1_0.gguf \\  -ngl 99 \\  -fa on \\  -t 12 \\  -p &#171;Write a short story about a robot.&#187;-ngl 99 \u2014 \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443-fa on \u2014 flash attention (\u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043f\u0440\u043e\u043c\u043f\u0442\u0430)-t 12 \u2014 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432 CPU (\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u044f\u0434\u0435\u0440)4. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 (\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f)\u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0434 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:RECURRENT_D \u2014 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 (\u0433\u043b\u0430\u0432\u043d\u044b\u0439)0 = \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u0430, 12 = \u0434\u0435\u0444\u043e\u043b\u0442, 24 = \u0433\u043b\u0443\u0431\u043e\u043a\u0430\u044f.# \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a, \u0431\u0435\u0437 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438RECURRENT_D=0 .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99 -fa on -t 12# \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a (\u0434\u0435\u0444\u043e\u043b\u0442)RECURRENT_D=12 .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99 -fa on -t 12RECURRENT_LAYERS_COUNT \u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0451\u0432 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u043cauto (\u0434\u0435\u0444\u043e\u043b\u0442) = \u043e\u0434\u0438\u043d \u0441\u043b\u043e\u0439 \u043d\u0430 8 \u0441\u043b\u043e\u0451\u0432 \u043c\u043e\u0434\u0435\u043b\u0438. 3 = \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0430 \u0441 \u0442\u0440\u0435\u043c\u044f \u044f\u043a\u043e\u0440\u044f\u043c\u0438.RECURRENT_LAYERS_COUNT=8 RECURRENT_D=12 .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99RECURRENT_KV \u2014 \u043a\u043e\u0433\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0435\u0448last (\u0434\u0435\u0444\u043e\u043b\u0442) \u2014 \u043a\u0435\u0448 \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0446\u0438\u043a\u043b\u0430, \u043e\u0442\u0440\u0430\u0436\u0430\u044f \u00ab\u0443\u0442\u043e\u0447\u043d\u0451\u043d\u043d\u043e\u0435\u00bb \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435.RECURRENT_KV=last .\/build\/bin\/llama-cli -m Bonsai-27B-Q1_0.gguf -ngl 99\u041f\u043e\u043b\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u2014 \u0432 HOWITFUCKINGWORKS.md, \u0440\u0430\u0437\u0434\u0435\u043b 4.5. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a: D=0 \u043f\u0440\u043e\u0442\u0438\u0432 D=12 \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0413\u043b\u0430\u0432\u043d\u043e\u0435, \u0440\u0430\u0434\u0438 \u0447\u0435\u0433\u043e \u0432\u0441\u0451 \u0437\u0430\u0442\u0435\u0432\u0430\u043b\u043e\u0441\u044c. \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0432\u0436\u0438\u0432\u0443\u044e \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 RTX 3050 6 \u0413\u0411 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0434\u0432\u0438\u0436\u043a\u0430\u0445, \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u0441\u0438\u0434\u043e\u043c (seed=42) \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c.\u0417\u0430\u0434\u0430\u0447\u0430\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0438\u043f\u0442\u0430\u0440\u0438\u0444\u043c \u2014 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0438 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439:SEND + MORE = MONEY. \u041a\u0430\u0436\u0434\u0430\u044f \u0431\u0443\u043a\u0432\u0430 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u0432\u043e\u044e \u0446\u0438\u0444\u0440\u0443 0-9, \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0443\u043a\u0432\u044b \u2014 \u0440\u0430\u0437\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b. S \u0438 M \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0443\u043b\u0451\u043c. \u041d\u0430\u0439\u0434\u0438 \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0431\u0443\u043a\u0432 S,E,N,D,M,O,R,Y. \u041f\u043e\u043a\u0430\u0436\u0438 \u043f\u043e\u043b\u043d\u044b\u0439 \u0445\u043e\u0434 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c \u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a \u0432 \u043a\u043e\u043d\u0446\u0435.\u0423\u0441\u043b\u043e\u0432\u0438\u044f\u041c\u043e\u0434\u0435\u043b\u044c: Bonsai-27B-Q1_0GPU: RTX 3050 Mobile 6 \u0413\u0411, -ngl 99\u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430: 0.3, seed: 42, \u043b\u0438\u043c\u0438\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: 7000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0443 \u043e\u0431\u043e\u0438\u0445)\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b\u041c\u0435\u0442\u0440\u0438\u043a\u0430D=0 (\u0431\u0430\u0437\u043e\u0432\u044b\u0439)D=12 (\u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439)\u0422\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e7000 (\u0443\u043f\u0451\u0440\u0441\u044f \u0432 \u043b\u0438\u043c\u0438\u0442)6594\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u041d\u0415\u0422 \u2014 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u043b\u0441\u044f\u0414\u0410 \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438length (\u043d\u0435 \u0443\u0441\u043f\u0435\u043b)stop (\u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b \u0441\u0430\u043c)\u0412\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438~5.5 \u043c\u0438\u043d~5.5 \u043c\u0438\u043d\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c21.1 t\/s19.8 t\/s\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043eD=0 \u0443\u0448\u0451\u043b \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u0441\u0430\u043c\u043e\u043a\u043e\u043f\u0430\u043d\u0438\u0435: 7000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0440\u0443\u0436\u0438\u043b\u0430 \u0432\u043e\u043a\u0440\u0443\u0433 \u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445 \u0436\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439, \u0441\u043d\u043e\u0432\u0430 \u0438 \u0441\u043d\u043e\u0432\u0430 \u00ab\u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430\u00bb \u0441\u0432\u043e\u0438 \u0436\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0442\u0430\u043a \u0438 \u043d\u0435 \u0432\u044b\u0434\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0442 \u2014 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0431\u043e\u0440\u0432\u0430\u043b\u0430\u0441\u044c \u043f\u043e \u043b\u0438\u043c\u0438\u0442\u0443 (finish_reason: length). \u042d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u00ab\u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u043d\u0438\u044f \u0432 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0438\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.D=12 \u0434\u043e\u0432\u0451\u043b \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e: \u043d\u0430\u0448\u0451\u043b \u0440\u0435\u0448\u0435\u043d\u0438\u0435 S=9, E=5, N=6, D=7, M=1, O=0, R=8, Y=2, \u043e\u0444\u043e\u0440\u043c\u0438\u043b \u0435\u0433\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a:    9 5 6 7   (SEND)  + 1 0 8 5   (MORE)  &#8212;&#8212;&#8212;&#8212;  1 0 6 5 2   (MONEY)\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u043c \u0441\u043e\u0448\u043b\u0430\u0441\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e: 9567 + 1085 = 10652. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0430 \u043e\u0442\u0432\u0435\u0442 \u0441\u0430\u043c\u0430, \u0431\u0435\u0437 \u043e\u0431\u0440\u0435\u0437\u043a\u0438.\u0412\u044b\u0432\u043e\u0434 \u0438\u0437 \u0442\u0435\u0441\u0442\u0430\u041d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043e\u0432\u043e\u0434\u0438\u0442 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u043e \u043e\u0442\u0432\u0435\u0442\u0430, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0435\u0442 \u0432 \u0446\u0438\u043a\u043b\u0435. \u0426\u0435\u043d\u0430 \u2014 ~6% \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 (19.8 \u043f\u0440\u043e\u0442\u0438\u0432 21.1 t\/s). \u041d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u2014 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0443\u0436\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0434\u0443\u043c\u0430\u0442\u044c \u0434\u043e\u043b\u0433\u043e \u0438 \u0441\u0432\u044f\u0437\u043d\u043e.6. \u041a\u0430\u043a \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u043c\u0443\u041d\u0438\u043a\u043e\u043c\u0443 \u043d\u0435 \u0432\u0435\u0440\u044c \u2014 \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043c\u0435\u043d\u044f. \u0414\u0432\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u043c\u043f\u0442:# \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043aRECURRENT_D=0 .\/build\/bin\/llama-cli \\  -m \/path\/to\/Bonsai-27B-Q1_0.gguf \\  -ngl 99 -fa on -t 12 -n 7000 \\  -p &#171;SEND + MORE = MONEY. \u041a\u0430\u0436\u0434\u0430\u044f \u0431\u0443\u043a\u0432\u0430 &#8212; \u0441\u0432\u043e\u044f \u0446\u0438\u0444\u0440\u0430 0-9, \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0443\u043a\u0432\u044b &#8212; \u0440\u0430\u0437\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, S \u0438 M \u043d\u0435 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u041d\u0430\u0439\u0434\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f S,E,N,D,M,O,R,Y. \u041f\u043e\u043a\u0430\u0436\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a.&#187;# \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043aRECURRENT_D=12 .\/build\/bin\/llama-cli \\  -m \/path\/to\/Bonsai-27B-Q1_0.gguf \\  -ngl 99 -fa on -t 12 -n 7000 \\  -p &#171;SEND + MORE = MONEY. \u041a\u0430\u0436\u0434\u0430\u044f \u0431\u0443\u043a\u0432\u0430 &#8212; \u0441\u0432\u043e\u044f \u0446\u0438\u0444\u0440\u0430 0-9, \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0443\u043a\u0432\u044b &#8212; \u0440\u0430\u0437\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, S \u0438 M \u043d\u0435 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u041d\u0430\u0439\u0434\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f S,E,N,D,M,O,R,Y. \u041f\u043e\u043a\u0430\u0436\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0432 \u0441\u0442\u043e\u043b\u0431\u0438\u043a.&#187;\u041e\u0431\u0440\u0430\u0442\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 finish_reason: stop \u0443 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0431\u0440\u044b\u0432\u0430 \u043f\u043e \u043b\u0438\u043c\u0438\u0442\u0443 \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u2014 \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u0432 \u043b\u043e\u0433\u0430\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\/CLI.7. \u0427\u0430\u0441\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b\u0412\u043e\u043f\u0440\u043e\u0441: \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c = \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435? \u041d\u0435\u0442. \u0412\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f. \u041c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430.\u0412\u043e\u043f\u0440\u043e\u0441: \u043f\u043e\u0447\u0435\u043c\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0443\u043f\u0430\u043b\u0430 \u043d\u0430 6%? \u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u2014 \u044d\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0441\u043b\u043e\u044f. \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 = \u0447\u0443\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u042d\u0442\u043e \u043f\u043b\u0430\u0442\u0430 \u0437\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439.\u0412\u043e\u043f\u0440\u043e\u0441: \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0435\u0449\u0451 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442? Qwen3.5 (Next\/MoE), Qwen2\/2-MoE, Qwen3-MoE, Qwen3-Next, Gemma 2, Mistral 3, Delta-Net (Bonsai). \u0421\u043f\u0438\u0441\u043e\u043a \u2014 \u0432 HOWITFUCKINGWORKS.md, \u0440\u0430\u0437\u0434\u0435\u043b 5.8. \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439: https:\/\/github.com\/cubetitled-ui\/llama.cpp\u0412\u0435\u0442\u043a\u0430 \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c: https:\/\/github.com\/cubetitled-ui\/llama.cpp\/tree\/patch-speedup\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f: HOWITFUCKINGWORKS.md \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438\u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0433\u043e\u043d\u044f\u0442\u044c Bonsai \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u0436\u0435\u043b\u0435\u0437\u0435? \u041d\u0430\u043f\u0438\u0448\u0438 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445, \u043a\u0430\u043a\u0430\u044f \u0443 \u0442\u0435\u0431\u044f \u043a\u0430\u0440\u0442\u0430 \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u2014 \u0441\u043e\u0431\u0435\u0440\u0443 \u0441\u0432\u043e\u0434\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443. \u0414\u043e \u0441\u0432\u044f\u0437\u0438!\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 https:\/\/habr.com\/ru\/articles\/1067216\/<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-489929","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/489929","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=489929"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/489929\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=489929"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=489929"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=489929"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}