{"id":500329,"date":"2026-10-26T15:11:37","date_gmt":"2026-10-26T12:11:37","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=500329"},"modified":"2026-10-26T15:11:37","modified_gmt":"2026-10-26T12:11:37","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=500329","title":{"rendered":"\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430. \u0427\u0430\u0441\u0442\u044c 6. \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Hugging Face \u0432 GGUF"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430<\/h2>\n<h3>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Hugging Face -&gt; GGUF<\/h3>\n<p>\u041d\u0435 \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u0433\u043e\u0442\u043e\u0432\u043e\u043c <code>.gguf<\/code>-\u0444\u043e\u0440\u043c\u0430\u0442\u0435. \u0418\u043d\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u0435\u0449\u0451 \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u043e, \u0438\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u0432\u0430\u043d\u0442 (<code>Q4_K_M<\/code>, <code>Q5_K_M<\/code>, <code>Q8_0<\/code>), \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435\u0442 \u0432 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0441\u0431\u043e\u0440\u043a\u0430\u0445. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0435\u0451 \u043d\u0443\u0436\u043d\u043e <strong>\u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e<\/strong>: \u0438\u0437 \u00ab\u0441\u044b\u0440\u044b\u0445\u00bb \u0432\u0435\u0441\u043e\u0432 Hugging Face (<code>.safetensors<\/code>) \u0432 GGUF, \u0430 \u0437\u0430\u0442\u0435\u043c \u2014 \u0432 \u043d\u0443\u0436\u043d\u044b\u0439 \u043a\u0432\u0430\u043d\u0442.<\/p>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442 <code>convert_to_<\/code><a href=\"http:\/\/gguf.sh\" rel=\"noopener nofollow\"><code>gguf.sh<\/code><\/a> \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441: \u043e\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u0434\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 <code>.gguf<\/code>, \u0441 \u043e\u0447\u0438\u0441\u0442\u043a\u043e\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h4>\u0427\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430<\/h4>\n<p><strong>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 Python-\u0441\u043a\u0440\u0438\u043f\u0442.<\/strong> \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (<code>llama-quantize<\/code> \u2014 C++ \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a), \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440 <code>convert_hf_to_gguf.py<\/code> \u0442\u0440\u0435\u0431\u0443\u0435\u0442 <code>transformers<\/code>, <code>safetensors<\/code>, <code>sentencepiece<\/code> \u0438 <code>torch<\/code> (CPU-\u0432\u0435\u0440\u0441\u0438\u044e). \u041f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442 Python \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u2014 \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0432 <code>venv<\/code>, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u0441\u043e\u0440\u044f\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443.<\/p>\n<p><strong>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0448\u0430\u0433\u043e\u0432:<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f <\/strong><code><strong>.safetensors<\/strong><\/code><strong> -&gt; <\/strong><code><strong>.gguf<\/strong><\/code><strong> (F16).<\/strong> \u042d\u0442\u043e \u00ab\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u00bb \u0432\u0435\u0441\u043e\u0432 \u0438\u0437 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 Hugging Face \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 <code>llama.cpp<\/code>. \u0420\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u0435\u043d \u0441\u0443\u043c\u043c\u0435 <code>.safetensors<\/code> (\u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437-\u0437\u0430 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445).<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 F16 -&gt; Q4_K_M.<\/strong> \u042d\u0442\u043e \u00ab\u0441\u0436\u0430\u0442\u0438\u0435\u00bb \u0441 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438. \u0420\u0430\u0437\u043c\u0435\u0440 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0432 3\u20134 \u0440\u0430\u0437\u0430, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 F16.<\/strong> <code>llama-quantize<\/code> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 <strong>\u0442\u043e\u043b\u044c\u043a\u043e \u0441 GGUF<\/strong> \u2014 \u043e\u043d \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c <code>.safetensors<\/code>. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 F16-\u0444\u0430\u0439\u043b \u2014 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0448\u0430\u0433. \u041f\u043e\u0441\u043b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c (\u0435\u0441\u043b\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u0434\u0440\u0443\u0433\u0438\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u0438\u0437 \u0442\u043e\u0433\u043e \u0436\u0435 F16).<\/p>\n<h4>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u043a\u0440\u0438\u043f\u0442<\/h4>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442 <code>convert_to_<\/code><a href=\"http:\/\/gguf.sh\" rel=\"noopener nofollow\"><code>gguf.sh<\/code><\/a> \u2014 \u044d\u0442\u043e \u00ab\u043e\u0434\u043d\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u0432\u0435\u0441\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u00bb:<\/p>\n<ol>\n<li>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b<\/strong> (<code>cmake<\/code>, <code>build-essential<\/code>, <code>python3-venv<\/code>, <code>git<\/code>, <code>curl<\/code>, <code>jq<\/code>) \u0447\u0435\u0440\u0435\u0437 <code>dpkg -s<\/code>. \u0421\u0442\u0430\u0432\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u0442 <\/strong><code><strong>llama.cpp<\/strong><\/code> (\u0435\u0441\u043b\u0438 <code>llama-quantize<\/code> \u0438 <code>llama-cli<\/code> \u0435\u0449\u0451 \u043d\u0435\u0442).<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043e\u0437\u0434\u0430\u0451\u0442 <\/strong><code><strong>venv<\/strong><\/code> (\u0435\u0441\u043b\u0438 \u043d\u0435\u0442) \u0438 \u0441\u0442\u0430\u0432\u0438\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0437 <code>llama.cpp\/requirements\/requirements-convert_hf_to_gguf.txt<\/code>. \u042d\u0442\u043e \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b \u043e\u0442 <code>llama.cpp<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u044f\u043d\u0435\u0442 <strong>CPU-\u0432\u0435\u0440\u0441\u0438\u044e <\/strong><code><strong>torch<\/strong><\/code> (\u0447\u0435\u0440\u0435\u0437 <code>--extra-index-url <\/code><a href=\"https:\/\/download.pytorch.org\/whl\/cpu\" rel=\"noopener nofollow\"><code>https:\/\/download.pytorch.org\/whl\/cpu<\/code><\/a>) \u2014 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 CUDA-\u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c<\/strong> \u0447\u0435\u0440\u0435\u0437 <code>hf download --local-dir hf_model<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>Sanity check:<\/strong> \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u0447\u0442\u043e <code>.safetensors<\/code> \u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u0430 \u043d\u0435 LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 (\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u0430\u0439\u043b\u044b). \u041f\u043e\u0441\u043b\u0435 <code>hf download<\/code> \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a, \u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u0435\u0448\u0451\u0432\u0430\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442<\/strong> \u0432 <code>models\/&lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;-f16.gguf<\/code> \u0447\u0435\u0440\u0435\u0437 <code>convert_hf_to_gguf.py<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0432\u0430\u043d\u0442\u0443\u0435\u0442<\/strong> \u0432 <code>models\/&lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;-Q4_K_M.gguf<\/code> \u0447\u0435\u0440\u0435\u0437 <code>llama-quantize<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442<\/strong> \u0440\u0430\u0437\u043c\u0435\u0440 Q4: \u0435\u0441\u043b\u0438 \u0444\u0430\u0439\u043b \u043c\u0435\u043d\u044c\u0448\u0435 100 \u041c\u0411 \u2014 \u044f\u0432\u043d\u043e \u0431\u0438\u0442\u044b\u0439, \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0447\u0438\u0449\u0430\u0435\u0442<\/strong> <code>hf_model\/<\/code> \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 F16 \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0412\u0441\u0451, \u0447\u0442\u043e \u043f\u043e\u043f\u0430\u043b\u043e \u0432 <\/strong><code><strong>CLEANUP_PATHS<\/strong><\/code><strong>, \u0443\u0434\u0430\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0432\u044b\u0445\u043e\u0434\u0435<\/strong> (\u0443\u0441\u043f\u0435\u0445 \/ \u043e\u0448\u0438\u0431\u043a\u0430 \/ <code>Ctrl+C<\/code>) \u0447\u0435\u0440\u0435\u0437 <code>trap cleanup EXIT INT TERM<\/code>. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u0438 \u0441\u0431\u043e\u0435 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0443\u0442\u0441\u044f \u00ab\u043f\u043e\u043b\u0443-\u0441\u043a\u0430\u0447\u0430\u043d\u043d\u044b\u0435\u00bb \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u044b. \u0424\u043b\u0430\u0433 <code>KEEP_INTERMEDIATE=1<\/code> \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u043e\u0447\u0438\u0441\u0442\u043a\u0443 \u2014 \u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438.<\/p>\n<h4>\u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b<\/h4>\n<h3>CPU-\u0432\u0435\u0440\u0441\u0438\u044f torch \u2014 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e<\/h3>\n<p>\u0412 <code>requirements-convert_hf_to_gguf.txt<\/code> \u0443\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d <code>--extra-index-url <\/code><a href=\"https:\/\/download.pytorch.org\/whl\/cpu\" rel=\"noopener nofollow\"><code>https:\/\/download.pytorch.org\/whl\/cpu<\/code><\/a> \u0438 <code>torch==2.11.0<\/code>. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e:<\/p>\n<ul>\n<li>\n<p>\u041d\u0435 \u043f\u0440\u0438\u0442\u044f\u043d\u0443\u0442\u0441\u044f <code>nvidia-*<\/code> \u043f\u0430\u043a\u0435\u0442\u044b (~2 \u0413\u0411).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u044e\u0442\u0441\u044f CUDA-\u0434\u0440\u0430\u0439\u0432\u0435\u0440\u044b.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043f\u043e\u0439\u0434\u0451\u0442 \u043d\u0430 CPU (\u0447\u0442\u043e \u0434\u043b\u044f <code>convert_hf_to_gguf.py<\/code> \u2014 \u043d\u043e\u0440\u043c\u0430, \u043e\u043d \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 GPU).<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0415\u0441\u043b\u0438 \u0441\u0442\u0430\u0432\u0438\u0442\u044c <\/strong><code><strong>torch<\/strong><\/code><strong> \u0432\u0440\u0443\u0447\u043d\u0443\u044e<\/strong> \u0431\u0435\u0437 <code>--index-url<\/code>, pip \u0432\u043e\u0437\u044c\u043c\u0451\u0442 CUDA-\u0432\u0435\u0440\u0441\u0438\u044e \u0441 PyPI. \u042d\u0442\u043e \u043d\u0435 \u0441\u043b\u043e\u043c\u0430\u0435\u0442 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e (CPU-\u043f\u0443\u0442\u044c \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f), \u043d\u043e \u0437\u0430\u0439\u043c\u0451\u0442 \u043b\u0438\u0448\u043d\u0438\u0435 2 \u0413\u0411 \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c <a href=\"http:\/\/libcuda.so\" rel=\"noopener nofollow\"><code>libcuda.so<\/code><\/a> (\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435\u0442).<\/p>\n<h3>hf download vs wget vs git clone<\/h3>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <code>hf download<\/code> \u2014 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 CLI \u043e\u0442 Hugging Face. \u041e\u043d:<\/p>\n<ul>\n<li>\n<p>\u041d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 <code>git-lfs<\/code> (\u043a\u0430\u0447\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 HTTPS).<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 gated-\u043c\u043e\u0434\u0435\u043b\u0438 (\u0441 \u0442\u043e\u043a\u0435\u043d\u043e\u043c).<\/p>\n<\/li>\n<li>\n<p>\u0423\u043c\u0435\u0435\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b (\u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f).<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b:<\/strong><\/p>\n<ul>\n<li>\n<p><code><strong>wget<\/strong><\/code><strong>\/<\/strong><code><strong>curl<\/strong><\/code> \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0441\u0441\u044b\u043b\u043a\u0435. \u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f (\u0441 <code>config.json<\/code>, <code>tokenizer.json<\/code>, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 <code>.safetensors<\/code>-\u0448\u0430\u0440\u0434\u0430\u043c\u0438) \u2014 \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><code><strong>git clone<\/strong><\/code><strong> \u0441 <\/strong><code><strong>git-lfs<\/strong><\/code> \u2014 \u0435\u0441\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e git-\u0438\u0441\u0442\u043e\u0440\u0438\u044e. \u041d\u043e \u0434\u043b\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e: <code>git-lfs<\/code> \u043d\u0443\u0436\u043d\u043e \u0441\u0442\u0430\u0432\u0438\u0442\u044c, \u0430 <code>.safetensors<\/code> \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u00ab\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0444\u0430\u0439\u043b\u044b\u00bb.<\/p>\n<\/li>\n<\/ul>\n<h3>Sanity check: LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438<\/h3>\n<p><code>hf download<\/code> \u043a\u0430\u0447\u0430\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u2014 \u0434\u0435\u0448\u0451\u0432\u0430\u044f \u0441\u0442\u0440\u0430\u0445\u043e\u0432\u043a\u0430:<\/p>\n<pre><code class=\"bash\">if grep -ql \"git-lfs.github.com\/spec\" \"$HF_DIR\"\/*.safetensors 2&gt;\/dev\/null; then    echo \"[!] \u0412 $HF_DIR \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u044b LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0432\u0435\u0441\u043e\u0432.\" &gt;&amp;2    exit 1fi<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<p><strong>\u0427\u0442\u043e \u044d\u0442\u043e \u043b\u043e\u0432\u0438\u0442.<\/strong> LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 (130 \u0431\u0430\u0439\u0442) \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u0430\u0439\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 <code>git<\/code> \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0432\u043c\u0435\u0441\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432, \u0435\u0441\u043b\u0438 <code>git-lfs<\/code> \u043d\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d. <code>convert_hf_to_gguf.py<\/code> \u043d\u0430 \u043d\u0438\u0445 \u0443\u043f\u0430\u0434\u0451\u0442 \u0441 \u043d\u0435\u0432\u043d\u044f\u0442\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 (\u00abcannot load safetensors\u00bb), \u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u0430\u0451\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 Q4<\/h3>\n<pre><code class=\"bash\">Q4_SIZE=$(stat -c%s \"$Q4_GGUF\")if [ \"$Q4_SIZE\" -lt $((100 * 1024 * 1024)) ]; then    echo \"[!] \u041f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0444\u0430\u0439\u043b: $(du -h \"$Q4_GGUF\" | cut -f1)\" &gt;&amp;2    exit 1fi<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0440\u043e\u0433 100 \u041c\u0411 \u2014 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u0430\u043f\u0430\u0441\u043e\u043c. \u0414\u0430\u0436\u0435 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c 1.5B \u0432 Q4_K_M \u0432\u0435\u0441\u0438\u0442 ~1 \u0413\u0411. \u0415\u0441\u043b\u0438 \u0444\u0430\u0439\u043b \u043c\u0435\u043d\u044c\u0448\u0435 \u2014 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0448\u043b\u043e \u043d\u0435 \u0442\u0430\u043a \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>llama-quantize<\/code> \u0443\u043f\u0430\u043b, \u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043b \u043f\u0443\u0441\u0442\u043e\u0439 \u0444\u0430\u0439\u043b). \u042d\u0442\u043e \u0434\u0435\u0448\u0451\u0432\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043b\u043e\u0432\u0438\u0442 99% \u043f\u0440\u043e\u0431\u043b\u0435\u043c.<\/p>\n<h3>\u041e\u0447\u0438\u0441\u0442\u043a\u0430: CLEANUP_PATHS + trap<\/h3>\n<pre><code class=\"bash\">CLEANUP_PATHS=()# ...CLEANUP_PATHS+=(\"$HF_DIR\")CLEANUP_PATHS+=(\"$F16_GGUF\")cleanup() {    local ec=$?    trap - EXIT INT TERM    set +e    # ...    for p in \"${CLEANUP_PATHS[@]}\"; do        [ -e \"$p\" ] &amp;&amp; rm -rf \"$p\"    done    exit \"$ec\"}trap cleanup EXIT INT TERM<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e.<\/strong> <code>hf_model<\/code> \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e <strong>10\u201320 \u0413\u0411<\/strong> <code>.safetensors<\/code> + F16 GGUF \u0435\u0449\u0451 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435. \u0415\u0441\u043b\u0438 \u0441\u043a\u0440\u0438\u043f\u0442 \u0443\u043f\u0430\u0434\u0451\u0442 \u043d\u0430 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, OOM \u043f\u0440\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438), \u0431\u0435\u0437 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f 20\u201340 \u0413\u0411 \u00ab\u043c\u0443\u0441\u043e\u0440\u0430\u00bb. <code>trap<\/code> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u0438 <strong>\u043b\u044e\u0431\u043e\u043c<\/strong> \u0438\u0441\u0445\u043e\u0434\u0435 (\u0443\u0441\u043f\u0435\u0445, \u043e\u0448\u0438\u0431\u043a\u0430, <code>Ctrl+C<\/code>) \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0443\u0434\u0430\u043b\u044f\u044e\u0442\u0441\u044f.<\/p>\n<p><strong>Q4_K_M \u0432 <\/strong><code><strong>CLEANUP_PATHS<\/strong><\/code><strong> \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f<\/strong> \u2014 \u044d\u0442\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442, \u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c.<\/p>\n<p><code><strong>KEEP_INTERMEDIATE=1<\/strong><\/code> \u2014 \u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438. \u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043f\u0430\u0434\u0430\u0435\u0442, \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u0432 <code>hf_model<\/code> \u0438 <code>-f16.gguf<\/code>:<\/p>\n<pre><code class=\"bash\">KEEP_INTERMEDIATE=1 .\/convert_to_gguf.sh Qwen\/Qwen3.5-2B<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u00ab\u043d\u0435 \u0438\u0434\u0443\u0442\u00bb<\/h3>\n<p>\u041d\u0435 \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0438:<\/p>\n<ul>\n<li>\n<p><strong>KDA \/ Lissa<\/strong> \u2014 <code>convert_hf_to_gguf.py<\/code> \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 <code>kda<\/code>. \u0414\u0430\u0436\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 <code>fla<\/code> (flash-linear-attention) \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442: \u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0435 \u043d\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0430-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430 \u0434\u043b\u044f \u043d\u0435\u0451. <strong>\u0420\u0435\u0448\u0435\u043d\u0438\u0435:<\/strong> \u0436\u0434\u0430\u0442\u044c, \u043f\u043e\u043a\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432\u043e\u0439\u0434\u0451\u0442 \u0432 <code>llama.cpp<\/code> master (PR #18381), \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Python-\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0447\u0435\u0440\u0435\u0437 <code>transformers<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043e\u0432\u0441\u0435\u043c \u043d\u043e\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b<\/strong> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Mamba-\u0433\u0438\u0431\u0440\u0438\u0434\u044b) \u2014 \u043c\u043e\u0433\u0443\u0442 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c <code>transformers<\/code> \u0438\u0437 <code>git<\/code> (<code>pip install git+<\/code><a href=\"https:\/\/github.com\/huggingface\/transformers.git\" rel=\"noopener nofollow\"><code>https:\/\/github.com\/huggingface\/transformers.git<\/code><\/a>), \u0435\u0441\u043b\u0438 \u0432 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043b\u0438\u0437\u0435 \u0438\u0445 \u0435\u0449\u0451 \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u043c <\/strong><code><strong>trust_remote_code<\/strong><\/code> \u2014 \u0438\u043d\u043e\u0433\u0434\u0430 <code>convert_hf_to_gguf.py<\/code> \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0444\u043b\u0430\u0433 <code>--trust-remote-code<\/code>, \u0438\u043d\u0430\u0447\u0435 \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442 <code>config.json<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435.<\/strong> \u0417\u0430\u0439\u0434\u0438\u0442\u0435 \u0432 <code>llama.cpp\/conversion\/<\/code> \u0438 \u043f\u043e\u0438\u0449\u0438\u0442\u0435 \u0444\u0430\u0439\u043b \u0441 \u0438\u043c\u0435\u043d\u0435\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b:<\/p>\n<pre><code class=\"bash\">ls llama.cpp\/conversion\/ | grep -i &lt;\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430&gt;<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>grep -i qwen<\/code> \u043f\u043e\u043a\u0430\u0436\u0435\u0442 <code>qwen.py<\/code>. \u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442 \u0444\u0430\u0439\u043b\u0430 \u2014 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043d\u0435 \u043f\u0440\u043e\u0439\u0434\u0451\u0442 \u0431\u0435\u0437 \u043f\u0430\u0442\u0447\u0435\u0439.<\/p>\n<h4>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435<\/h4>\n<p><strong>\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a:<\/strong><\/p>\n<pre><code class=\"bash\">.\/convert_to_gguf.sh Qwen\/Qwen3.5-2B<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><strong>\u0411\u0435\u0437 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u0430<\/strong> \u2014 \u0441\u043f\u0440\u043e\u0441\u0438\u0442 \u0438\u043c\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e:<\/p>\n<pre><code class=\"bash\">.\/convert_to_gguf.sh# \u0412\u0432\u0435\u0434\u0438\u0442\u0435 \u0438\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 Hugging Face (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Qwen\/Qwen3.5-2B): _<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><strong>\u0421 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432:<\/strong><\/p>\n<pre><code class=\"bash\">KEEP_INTERMEDIATE=1 .\/convert_to_gguf.sh Qwen\/Qwen3.5-2B<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><strong>\u0427\u0442\u043e \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0432 <\/strong><code><strong>models\/<\/strong><\/code><strong>:<\/strong><\/p>\n<pre><code>models\/\u251c\u2500\u2500 Qwen3.5-2B-Q4_K_M.gguf     \u2190 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b (\u0433\u043e\u0442\u043e\u0432 \u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0443)\u2514\u2500\u2500 (\u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0445\u0430: hf_model\/ \u0438 Qwen3.5-2B-f16.gguf \u0443\u0434\u0430\u043b\u0435\u043d\u044b)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><strong>\u0412\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b:<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u0442\u043e\u0433\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Qwen3.5-2B<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2\u20135 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u20132 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">30 \u0441\u0435\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">~5 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Qwen3.5-9B<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">10\u201320 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">5\u201310 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u20132 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">~20 \u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Qwen3.5-35B<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">30\u201360 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">20\u201340 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">3\u20135 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1.5 \u0447\u0430\u0441\u0430<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 HDD \u2014 \u0434\u043e\u043b\u044c\u0448\u0435 \u0432 2\u20133 \u0440\u0430\u0437\u0430 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435 \u0438 \u0447\u0442\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438).<\/p>\n<h4>\u041a\u043e\u0434 convert_to_gguf.sh<\/h4>\n<pre><code class=\"bash\">#!\/usr\/bin\/env bash# \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 Hugging Face \u0432 GGUF (F16) \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 Q4_K_M.# \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435: .\/convert_to_gguf.sh [USER\/REPO]# \u041f\u0440\u0438\u043c\u0435\u0440:        .\/convert_to_gguf.sh Qwen\/Qwen3.5-2B## \u0421\u043a\u0440\u0438\u043f\u0442 \u0441\u0430\u043c:#   - \u0434\u043e\u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b (\u0447\u0435\u0440\u0435\u0437 sudo apt);#   - \u0441\u043e\u0437\u0434\u0430\u0451\u0442\/\u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 venv \u0438 \u0441\u0442\u0430\u0432\u0438\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0437 llama.cpp\/requirements;#   - \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 `hf download`, \u0435\u0441\u043b\u0438 \u043f\u0430\u043f\u043a\u0438 hf_model \u043d\u0435\u0442;#   - \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u0432 F16 GGUF, \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442 \u0432 Q4_K_M;#   - \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u0432\u0430\u043d\u0442 \u0447\u0435\u0440\u0435\u0437 llama-cli;#   - \u0443\u0434\u0430\u043b\u044f\u0435\u0442 hf_model \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 F16 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.set -euo pipefail# --- 0. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b ---MODEL_ID=\"${1:-}\"if [ -z \"$MODEL_ID\" ]; then    read -r -p \"\u0412\u0432\u0435\u0434\u0438\u0442\u0435 \u0438\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 Hugging Face (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Qwen\/Qwen3.5-2B): \" MODEL_IDfi[ -n \"$MODEL_ID\" ] || { echo \"[!] \u0418\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0437\u0430\u0434\u0430\u043d\u043e.\" &gt;&amp;2; exit 1; }# \u041a\u043e\u0440\u043e\u0442\u043a\u043e\u0435 \u0438\u043c\u044f \u0434\u043b\u044f \u0444\u0430\u0439\u043b\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \/)MODEL_SHORT=\"${MODEL_ID##*\/}\"# --- 1. \u041f\u0443\u0442\u0438 ---SCRIPT_DIR=\"$(cd \"$(dirname \"${BASH_SOURCE[0]}\")\" &amp;&amp; pwd)\"LLAMA_DIR=\"$SCRIPT_DIR\/llama.cpp\"REQ_DIR=\"$LLAMA_DIR\/requirements\"HF_DIR=\"$SCRIPT_DIR\/hf_model\"OUT_DIR=\"$SCRIPT_DIR\/models\"VENV_DIR=\"$SCRIPT_DIR\/venv\"mkdir -p \"$OUT_DIR\"# --- 1a. \u041e\u0447\u0438\u0441\u0442\u043a\u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 (trap) ---# CLEANUP_PATHS \u2014 \u0432\u0441\u0451, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u043f\u0440\u0438 \u0432\u044b\u0445\u043e\u0434\u0435. Q4_K_M \u0441\u044e\u0434\u0430 \u041d\u0415 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c.CLEANUP_PATHS=()cleanup() {    local ec=$?    trap - EXIT INT TERM        # \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0438    set +e                       # \u043e\u0447\u0438\u0441\u0442\u043a\u0430 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0430\u0434\u0430\u0442\u044c    echo \"\"    if [ \"${KEEP_INTERMEDIATE:-0}\" = \"1\" ]; then        echo \"[i] KEEP_INTERMEDIATE=1: \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u044b.\"        exit \"$ec\"    fi    if [ ${#CLEANUP_PATHS[@]} -gt 0 ]; then        echo \"[*] \u041e\u0447\u0438\u0441\u0442\u043a\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432...\"        for p in \"${CLEANUP_PATHS[@]}\"; do            if [ -e \"$p\" ]; then                echo \"    rm -rf $p\"                rm -rf \"$p\"            fi        done    fi    exit \"$ec\"}trap cleanup EXIT INT TERM# --- 2. \u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b (\u0441\u0442\u0430\u0432\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435) ---SYS_PKGS=(cmake build-essential libopenblas-dev python3 python3-venv python3-pip git curl wget jq)MISSING_SYS=()for pkg in \"${SYS_PKGS[@]}\"; do    # dpkg -s: \u043a\u043e\u0434 0 = \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d, \u0438\u043d\u0430\u0447\u0435 \u2014 \u043d\u0435\u0442    dpkg -s \"$pkg\" &amp;&gt;\/dev\/null || MISSING_SYS+=(\"$pkg\")doneif [ ${#MISSING_SYS[@]} -gt 0 ]; then    echo \"[*] \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0445 \u043f\u0430\u043a\u0435\u0442\u043e\u0432: ${MISSING_SYS[*]}\"    sudo apt update -qq    sudo apt install -y -qq \"${MISSING_SYS[@]}\"else    echo \"[*] \u0412\u0441\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b \u0443\u0436\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b.\"fi# --- 3. \u0421\u0431\u043e\u0440\u043a\u0430 llama.cpp (\u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e) ---LLAMA_QUANTIZE=\"$LLAMA_DIR\/build\/bin\/llama-quantize\"LLAMA_CLI=\"$LLAMA_DIR\/build\/bin\/llama-cli\"if [ ! -x \"$LLAMA_QUANTIZE\" ] || [ ! -x \"$LLAMA_CLI\" ]; then    echo \"[*] \u0421\u0431\u043e\u0440\u043a\u0430 llama.cpp...\"    if [ ! -d \"$LLAMA_DIR\/.git\" ]; then        git clone --depth=1 https:\/\/github.com\/ggerganov\/llama.cpp \"$LLAMA_DIR\"    fi    cmake -S \"$LLAMA_DIR\" -B \"$LLAMA_DIR\/build\" -DCMAKE_BUILD_TYPE=Release -DLLAMA_BUILD_UI=ON    cmake --build \"$LLAMA_DIR\/build\" --config Release -j\"$(nproc)\"fi# --- 4. venv \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440\u0430 ---# \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 requirements-\u0444\u0430\u0439\u043b: \u043e\u043d \u0442\u044f\u043d\u0435\u0442 CPU-\u0432\u0435\u0440\u0441\u0438\u044e torch.if [ ! -d \"$VENV_DIR\" ]; then    echo \"[*] \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 venv...\"    python3 -m venv \"$VENV_DIR\"fi# \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435source \"$VENV_DIR\/bin\/activate\"REQ_FILE=\"$REQ_DIR\/requirements-convert_hf_to_gguf.txt\"[ -f \"$REQ_FILE\" ] || { echo \"[!] \u041d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d $REQ_FILE\"; exit 1; }echo \"[*] \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440\u0430 (CPU-only torch)...\"# \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u00ab\u043c\u0430\u0440\u043a\u0435\u0440\u043d\u044b\u0435\u00bb \u043f\u0430\u043a\u0435\u0442\u044b \u0438\u0437 requirements-convert_hf_to_gguf.txt.# \u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0435\u0442 \u2014 \u0441\u0442\u0430\u0432\u0438\u043c \u0432\u0435\u0441\u044c \u0444\u0430\u0439\u043b (pip \u0441\u0430\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442 \u0432\u0435\u0440\u0441\u0438\u0438 \u0438 \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442).# \u042d\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c `pip install -r` \u043f\u0440\u0438 \u043f\u043e\u043b\u043d\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435, \u0438 \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435, \u0447\u0435\u043c# \u0440\u0443\u0447\u043d\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0432\u0435\u0440\u0441\u0438\u0439 (\u043f\u0440\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 requirements \u0432\u0441\u0451 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u0438\u0442\u0441\u044f).MARKER_PY_PKGS=(torch numpy sentencepiece transformers gguf protobuf huggingface_hub)MISSING_PY=()for pkg in \"${MARKER_PY_PKGS[@]}\"; do    pip show \"$pkg\" &amp;&gt;\/dev\/null || MISSING_PY+=(\"$pkg\")done# fla \u043d\u0443\u0436\u0435\u043d \u0434\u043b\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (KDA\/Lissa \u0438 \u0434\u0440.).if [ ${#MISSING_PY[@]} -gt 0 ]; then    echo \"[*] \u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 Python-\u043f\u0430\u043a\u0435\u0442\u044b: ${MISSING_PY[*]}\"    echo \"[*] \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438\u0437 $REQ_FILE (CPU-only torch)...\"    pip install --no-cache-dir -q -r \"$REQ_FILE\"    pip install --no-cache-dir -q huggingface_hubelse    echo \"[*] \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440\u0430 \u0443\u0436\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b.\"fi# --- 5. \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 ---CLEANUP_PATHS+=(\"$HF_DIR\")if [ -d \"$HF_DIR\" ] &amp;&amp; [ -n \"$(ls -A \"$HF_DIR\" 2&gt;\/dev\/null)\" ]; then    echo \"[*] \u041f\u0430\u043f\u043a\u0430 $HF_DIR \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443.\"else    echo \"[*] \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 $MODEL_ID \u0432 $HF_DIR...\"    # --local-dir \u2014 \u0431\u0435\u0437 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u044d\u0448\u0430, \u0441\u0440\u0430\u0437\u0443 \u0432 \u043f\u0430\u043f\u043a\u0443.    hf download \"$MODEL_ID\" --local-dir \"$HF_DIR\"fi# --- 5a. Sanity check: \u0432\u0435\u0441\u0430 \u043d\u0435 LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 ---# \u041f\u043e\u0441\u043b\u0435 `hf download` \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a, \u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u0435\u0448\u0451\u0432\u0430\u044f \u0438 \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442.if grep -ql \"git-lfs.github.com\/spec\" \"$HF_DIR\"\/*.safetensors 2&gt;\/dev\/null; then    echo \"[!] \u0412 $HF_DIR \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u044b LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0432\u0435\u0441\u043e\u0432.\" &gt;&amp;2    exit 1fi# --- 6. \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u0432 F16 GGUF ---F16_GGUF=\"$OUT_DIR\/${MODEL_SHORT}-f16.gguf\"CLEANUP_PATHS+=(\"$F16_GGUF\")echo \"[*] \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u0432 $F16_GGUF...\"python3 \"$LLAMA_DIR\/convert_hf_to_gguf.py\" \"$HF_DIR\" --outfile \"$F16_GGUF\"# \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 F16 (\u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441 \u0441\u0443\u043c\u043c\u043e\u0439 safetensors)echo \"[*] \u0420\u0430\u0437\u043c\u0435\u0440 F16: $(du -h \"$F16_GGUF\" | cut -f1)\"# --- 7. \u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 Q4_K_M ---Q4_GGUF=\"$OUT_DIR\/${MODEL_SHORT}-Q4_K_M.gguf\"echo \"[*] \u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 $Q4_GGUF...\"\"$LLAMA_QUANTIZE\" \"$F16_GGUF\" \"$Q4_GGUF\" Q4_K_M# --- 8. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 ---# \u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 sanity check: \u0444\u0430\u0439\u043b \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u0439.# \u041f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u0447\u0435\u0440\u0435\u0437 llama-server \u0432\u0440\u0443\u0447\u043d\u0443\u044e (\u0438\u043b\u0438 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u0441\u043a\u0440\u0438\u043f\u0442\u0435).if [ ! -f \"$Q4_GGUF\" ]; then    echo \"[!] \u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0444\u0430\u0439\u043b \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u043d: $Q4_GGUF\" &gt;&amp;2    exit 1fi# \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430: Q4_K_M \u043e\u0431\u044b\u0447\u043d\u043e 1\/4..1\/5 \u043e\u0442 F16. \u0415\u0441\u043b\u0438 \u0444\u0430\u0439\u043b &lt; 100 \u041c\u0411 \u2014 \u044f\u0432\u043d\u043e \u0431\u0438\u0442\u044b\u0439.Q4_SIZE=$(stat -c%s \"$Q4_GGUF\")if [ \"$Q4_SIZE\" -lt $((100 * 1024 * 1024)) ]; then    echo \"[!] \u041f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0444\u0430\u0439\u043b: $(du -h \"$Q4_GGUF\" | cut -f1)\" &gt;&amp;2    CLEANUP_PATHS+=(\"$Q4_GGUF\")    exit 1fiecho \"[*] \u0424\u0430\u0439\u043b \u0441\u043e\u0437\u0434\u0430\u043d: $Q4_GGUF ($(du -h \"$Q4_GGUF\" | cut -f1))\"# --- 9. \u041e\u0447\u0438\u0441\u0442\u043a\u0430 ---# \u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c: cleanup() \u0447\u0435\u0440\u0435\u0437 trap EXIT\/INT\/TERM \u0443\u0434\u0430\u043b\u0438\u0442# \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 CLEANUP_PATHS (\u0435\u0441\u043b\u0438 KEEP_INTERMEDIATE != 1).echo \"[*] \u0413\u043e\u0442\u043e\u0432\u043e: $Q4_GGUF\"exit 0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h4>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430<\/h4>\n<p><strong>1. \u0424\u0430\u0439\u043b \u0441\u043e\u0437\u0434\u0430\u043d:<\/strong><\/p>\n<pre><code class=\"bash\">ls -lh models\/Qwen3.5-2B-Q4_K_M.gguf<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0414\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c ~1\u20131.5 \u0413\u0411 (\u0434\u043b\u044f 2B \u0432 Q4_K_M).<\/p>\n<p><strong>2. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0432 <\/strong><code><strong>llama-server<\/strong><\/code><strong>:<\/strong><\/p>\n<pre><code class=\"bash\">.\/run_llama_mmap.sh -m Qwen3.5-2B-Q4_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0412 \u043b\u043e\u0433\u0435 \u2014 <code>model loaded<\/code>, \u0430 \u0432 UI \u2014 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb.<\/p>\n<p><strong>3. \u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0443\u0434\u0430\u043b\u0435\u043d\u044b:<\/strong><\/p>\n<pre><code class=\"bash\">ls -d hf_model 2&gt;\/dev\/null       # \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \"No such file\"ls models\/*-f16.gguf 2&gt;\/dev\/null # \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u0443\u0441\u0442\u043e<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0442\u043e-\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u2014 <code>KEEP_INTERMEDIATE<\/code> \u0431\u044b\u043b \u0432\u043a\u043b\u044e\u0447\u0451\u043d, \u0438\u043b\u0438 \u0441\u043a\u0440\u0438\u043f\u0442 \u0443\u043f\u0430\u043b \u0434\u043e \u043e\u0447\u0438\u0441\u0442\u043a\u0438. \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0432\u044b\u0432\u043e\u0434.<\/p>\n<h4>\u041f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u043c\u043d\u0438<\/h4>\n<ol>\n<li>\n<p><strong>\u041d\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0439\u0442\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e \u0438 <\/strong><code><strong>llama-server<\/strong><\/code><strong> \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e<\/strong> \u043f\u0440\u0438 \u043c\u0430\u043b\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 RAM. <code>convert_hf_to_gguf.py<\/code> \u0433\u0440\u0443\u0437\u0438\u0442 <code>.safetensors<\/code> \u0432 \u043f\u0430\u043c\u044f\u0442\u044c (\u0434\u043b\u044f 9B \u2014 ~18 \u0413\u0411), \u0430 <code>llama-server<\/code> \u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 <code>mmap<\/code>. \u0412\u043c\u0435\u0441\u0442\u0435 \u043e\u043d\u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0432\u043b\u0435\u0437\u0442\u044c. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f, \u043f\u043e\u0442\u043e\u043c \u2014 \u0441\u0435\u0440\u0432\u0435\u0440.<\/p>\n<\/li>\n<li>\n<p><strong>F16 GGUF \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0443\u043c\u043c\u044b <\/strong><code><strong>.safetensors<\/strong><\/code> \u043d\u0430 5\u201310% (\u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435, \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435). \u041d\u0435 \u043f\u0443\u0433\u0430\u0439\u0442\u0435\u0441\u044c, \u0435\u0441\u043b\u0438 <code>ls -lh<\/code> \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u0430\u0451\u0442 \u00ab\u0440\u043e\u0432\u043d\u043e\u00bb Q4_K_M.<\/strong> \u0414\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 <code>llama-quantize<\/code> \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u00absome tensors require higher precision\u00bb \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432 \u0432 F16. \u042d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e: \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>output.weight<\/code>) \u0438\u043d\u043e\u0433\u0434\u0430 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0432 F16 \u0434\u043b\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>Tokenizer \u0434\u043b\u044f \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/strong> \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, MOSS-Image) \u0442\u0440\u0435\u0431\u0443\u044e\u0442 <strong>\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 <\/strong><code><strong>tokenizer.json<\/strong><\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 <code>.safetensors<\/code> \u0438 \u043d\u0435 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f <code>convert_hf_to_gguf.py<\/code> \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u0415\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e (<code>hf download &lt;repo&gt; tokenizer.json --local-dir ...<\/code>) \u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0432 <code>MODEL_MAP<\/code> \u0447\u0435\u0440\u0435\u0437 <code>--tokenizer<\/code>. \u0414\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u044b\u0445 LLM (Qwen, Gemma) \u044d\u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u2014 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u0432\u0441\u0442\u0440\u043e\u0435\u043d \u0432 GGUF.<\/p>\n<\/li>\n<li>\n<p><strong>Gated-\u043c\u043e\u0434\u0435\u043b\u0438.<\/strong> \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0438 \u043d\u0430 Hugging Face, <code>hf download<\/code> \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442 \u0442\u043e\u043a\u0435\u043d. \u0417\u0430\u043b\u043e\u0433\u0438\u043d\u044c\u0442\u0435\u0441\u044c \u043e\u0434\u0438\u043d \u0440\u0430\u0437:<\/p>\n<pre><code class=\"bash\">hf auth login<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0422\u043e\u043a\u0435\u043d \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432 <code>~\/.cache\/huggingface\/<\/code>, \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043f\u0440\u043e\u0439\u0434\u0443\u0442 \u0431\u0435\u0437 \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n<\/li>\n<\/ol>\n<h4>\u0418\u0442\u043e\u0433<\/h4>\n<p><code>convert_to_<\/code><a href=\"http:\/\/gguf.sh\" rel=\"noopener nofollow\"><code>gguf.sh<\/code><\/a> \u2014 \u044d\u0442\u043e \u00ab\u043e\u0434\u043d\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u0432\u0435\u0441\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u00bb \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f <code>.gguf<\/code> \u0438\u0437 \u00ab\u0441\u044b\u0440\u044b\u0445\u00bb \u0432\u0435\u0441\u043e\u0432 Hugging Face. \u041e\u043d:<\/p>\n<ul>\n<li>\n<p>\u0421\u0442\u0430\u0432\u0438\u0442 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 (\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445).<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 CPU-\u0432\u0435\u0440\u0441\u0438\u044e <code>torch<\/code> (\u0431\u0435\u0437 CUDA-\u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u0432).<\/p>\n<\/li>\n<li>\n<p>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043e\u0447\u0438\u0441\u0442\u043a\u0443 \u043f\u0440\u0438 \u043b\u044e\u0431\u043e\u043c \u0438\u0441\u0445\u043e\u0434\u0435 \u0447\u0435\u0440\u0435\u0437 <code>trap<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u0451\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0430\u0445 (LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438, \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 Q4, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 requirements).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u00ab\u0441\u043f\u0430\u0441\u0442\u0438\u00bb \u043d\u0435\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b (KDA) \u2014 \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 <code>Failed to detect model architecture<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u043d\u0430 Hugging Face, \u043d\u043e \u043d\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e <code>.gguf<\/code> (\u0438\u043b\u0438 \u043d\u0435\u0442 \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u043a\u0432\u0430\u043d\u0442\u0430).<\/p>\n<\/li>\n<li>\n<p>\u0425\u043e\u0447\u0435\u0442\u0441\u044f <code>Q5_K_M<\/code> \u0438\u043b\u0438 <code>Q8_0<\/code>, \u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u0441\u0434\u0435\u043b\u0430\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e <code>Q4_K_M<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0443\u0436\u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0440\u0435\u0432\u0438\u0437\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041a\u043e\u0433\u0434\u0430 \u041d\u0415 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c:<\/strong><\/p>\n<ul>\n<li>\n<p>\u0413\u043e\u0442\u043e\u0432\u044b\u0439 <code>.gguf<\/code> \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u2014 \u0441\u043a\u0430\u0447\u0430\u0439\u0442\u0435 \u0435\u0433\u043e (<code>hf download<\/code> \u0438\u043b\u0438 <code>wget<\/code>), \u044d\u0442\u043e \u0432 3\u20135 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f <code>convert_hf_to_gguf.py<\/code> (\u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 <code>conversion\/<\/code> \u0437\u0430\u0440\u0430\u043d\u0435\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u0442 30\u201360 \u0413\u0411 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 (<code>.safetensors<\/code> + F16 + Q4 \u043d\u0430 \u043f\u0438\u043a\u0435).<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1099540\/\">https:\/\/habr.com\/ru\/articles\/1099540\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Hugging Face -&gt; GGUF\u041d\u0435 \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u0433\u043e\u0442\u043e\u0432\u043e\u043c .gguf-\u0444\u043e\u0440\u043c\u0430\u0442\u0435. \u0418\u043d\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u0435\u0449\u0451 \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u043e, \u0438\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u0432\u0430\u043d\u0442 (Q4_K_M, Q5_K_M, Q8_0), \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435\u0442 \u0432 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0441\u0431\u043e\u0440\u043a\u0430\u0445. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0435\u0451 \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e: \u0438\u0437 \u00ab\u0441\u044b\u0440\u044b\u0445\u00bb \u0432\u0435\u0441\u043e\u0432 Hugging Face (.safetensors) \u0432 GGUF, \u0430 \u0437\u0430\u0442\u0435\u043c \u2014 \u0432 \u043d\u0443\u0436\u043d\u044b\u0439 \u043a\u0432\u0430\u043d\u0442.\u0421\u043a\u0440\u0438\u043f\u0442 convert_to_gguf.sh \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441: \u043e\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u0434\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 .gguf, \u0441 \u043e\u0447\u0438\u0441\u0442\u043a\u043e\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.\u0427\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 Python-\u0441\u043a\u0440\u0438\u043f\u0442. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (llama-quantize \u2014 C++ \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a), \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440 convert_hf_to_gguf.py \u0442\u0440\u0435\u0431\u0443\u0435\u0442 transformers, safetensors, sentencepiece \u0438 torch (CPU-\u0432\u0435\u0440\u0441\u0438\u044e). \u041f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442 Python \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u2014 \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0432 venv, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u0441\u043e\u0440\u044f\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443.\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0448\u0430\u0433\u043e\u0432:\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f .safetensors -&gt; .gguf (F16). \u042d\u0442\u043e \u00ab\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u00bb \u0432\u0435\u0441\u043e\u0432 \u0438\u0437 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 Hugging Face \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 llama.cpp. \u0420\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u0435\u043d \u0441\u0443\u043c\u043c\u0435 .safetensors (\u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437-\u0437\u0430 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445).\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 F16 -&gt; Q4_K_M. \u042d\u0442\u043e \u00ab\u0441\u0436\u0430\u0442\u0438\u0435\u00bb \u0441 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438. \u0420\u0430\u0437\u043c\u0435\u0440 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0432 3\u20134 \u0440\u0430\u0437\u0430, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e.\u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 F16. llama-quantize \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 GGUF \u2014 \u043e\u043d \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c .safetensors. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 F16-\u0444\u0430\u0439\u043b \u2014 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0448\u0430\u0433. \u041f\u043e\u0441\u043b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c (\u0435\u0441\u043b\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u0434\u0440\u0443\u0433\u0438\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u0438\u0437 \u0442\u043e\u0433\u043e \u0436\u0435 F16).\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u043a\u0440\u0438\u043f\u0442\u0421\u043a\u0440\u0438\u043f\u0442 convert_to_gguf.sh \u2014 \u044d\u0442\u043e \u00ab\u043e\u0434\u043d\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u0432\u0435\u0441\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u00bb:\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b (cmake, build-essential, python3-venv, git, curl, jq) \u0447\u0435\u0440\u0435\u0437 dpkg -s. \u0421\u0442\u0430\u0432\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442.\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u0442 llama.cpp (\u0435\u0441\u043b\u0438 llama-quantize \u0438 llama-cli \u0435\u0449\u0451 \u043d\u0435\u0442).\u0421\u043e\u0437\u0434\u0430\u0451\u0442 venv (\u0435\u0441\u043b\u0438 \u043d\u0435\u0442) \u0438 \u0441\u0442\u0430\u0432\u0438\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0437 llama.cpp\/requirements\/requirements-convert_hf_to_gguf.txt. \u042d\u0442\u043e \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b \u043e\u0442 llama.cpp, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u044f\u043d\u0435\u0442 CPU-\u0432\u0435\u0440\u0441\u0438\u044e torch (\u0447\u0435\u0440\u0435\u0437 &#8212;extra-index-url https:\/\/download.pytorch.org\/whl\/cpu) \u2014 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 CUDA-\u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u0432.\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 hf download &#8212;local-dir hf_model.Sanity check: \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u0447\u0442\u043e .safetensors \u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u0430 \u043d\u0435 LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 (\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u0430\u0439\u043b\u044b). \u041f\u043e\u0441\u043b\u0435 hf download \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a, \u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u0435\u0448\u0451\u0432\u0430\u044f.\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u0432 models\/&lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;-f16.gguf \u0447\u0435\u0440\u0435\u0437 convert_hf_to_gguf.py.\u041a\u0432\u0430\u043d\u0442\u0443\u0435\u0442 \u0432 models\/&lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;-Q4_K_M.gguf \u0447\u0435\u0440\u0435\u0437 llama-quantize.\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 Q4: \u0435\u0441\u043b\u0438 \u0444\u0430\u0439\u043b \u043c\u0435\u043d\u044c\u0448\u0435 100 \u041c\u0411 \u2014 \u044f\u0432\u043d\u043e \u0431\u0438\u0442\u044b\u0439, \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439.\u041e\u0447\u0438\u0449\u0430\u0435\u0442 hf_model\/ \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 F16 \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.\u0412\u0441\u0451, \u0447\u0442\u043e \u043f\u043e\u043f\u0430\u043b\u043e \u0432 CLEANUP_PATHS, \u0443\u0434\u0430\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0432\u044b\u0445\u043e\u0434\u0435 (\u0443\u0441\u043f\u0435\u0445 \/ \u043e\u0448\u0438\u0431\u043a\u0430 \/ Ctrl+C) \u0447\u0435\u0440\u0435\u0437 trap cleanup EXIT INT TERM. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u0438 \u0441\u0431\u043e\u0435 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0443\u0442\u0441\u044f \u00ab\u043f\u043e\u043b\u0443-\u0441\u043a\u0430\u0447\u0430\u043d\u043d\u044b\u0435\u00bb \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u044b. \u0424\u043b\u0430\u0433 KEEP_INTERMEDIATE=1 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u043e\u0447\u0438\u0441\u0442\u043a\u0443 \u2014 \u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438.\u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044bCPU-\u0432\u0435\u0440\u0441\u0438\u044f torch \u2014 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e\u0412 requirements-convert_hf_to_gguf.txt \u0443\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d &#8212;extra-index-url https:\/\/download.pytorch.org\/whl\/cpu \u0438 torch==2.11.0. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e:\u041d\u0435 \u043f\u0440\u0438\u0442\u044f\u043d\u0443\u0442\u0441\u044f nvidia-* \u043f\u0430\u043a\u0435\u0442\u044b (~2 \u0413\u0411).\u041d\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u044e\u0442\u0441\u044f CUDA-\u0434\u0440\u0430\u0439\u0432\u0435\u0440\u044b.\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043f\u043e\u0439\u0434\u0451\u0442 \u043d\u0430 CPU (\u0447\u0442\u043e \u0434\u043b\u044f convert_hf_to_gguf.py \u2014 \u043d\u043e\u0440\u043c\u0430, \u043e\u043d \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 GPU).\u0415\u0441\u043b\u0438 \u0441\u0442\u0430\u0432\u0438\u0442\u044c torch \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0431\u0435\u0437 &#8212;index-url, pip \u0432\u043e\u0437\u044c\u043c\u0451\u0442 CUDA-\u0432\u0435\u0440\u0441\u0438\u044e \u0441 PyPI. \u042d\u0442\u043e \u043d\u0435 \u0441\u043b\u043e\u043c\u0430\u0435\u0442 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e (CPU-\u043f\u0443\u0442\u044c \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f), \u043d\u043e \u0437\u0430\u0439\u043c\u0451\u0442 \u043b\u0438\u0448\u043d\u0438\u0435 2 \u0413\u0411 \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c libcuda.so (\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435\u0442).hf download vs wget vs git clone\u0421\u043a\u0440\u0438\u043f\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 hf download \u2014 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 CLI \u043e\u0442 Hugging Face. \u041e\u043d:\u041d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 git-lfs (\u043a\u0430\u0447\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 HTTPS).\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 gated-\u043c\u043e\u0434\u0435\u043b\u0438 (\u0441 \u0442\u043e\u043a\u0435\u043d\u043e\u043c).\u0423\u043c\u0435\u0435\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b (\u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f).\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b:wget\/curl \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0441\u0441\u044b\u043b\u043a\u0435. \u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f (\u0441 config.json, tokenizer.json, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 .safetensors-\u0448\u0430\u0440\u0434\u0430\u043c\u0438) \u2014 \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u043e.git clone \u0441 git-lfs \u2014 \u0435\u0441\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e git-\u0438\u0441\u0442\u043e\u0440\u0438\u044e. \u041d\u043e \u0434\u043b\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e: git-lfs \u043d\u0443\u0436\u043d\u043e \u0441\u0442\u0430\u0432\u0438\u0442\u044c, \u0430 .safetensors \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u00ab\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0444\u0430\u0439\u043b\u044b\u00bb.Sanity check: LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438hf download \u043a\u0430\u0447\u0430\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u2014 \u0434\u0435\u0448\u0451\u0432\u0430\u044f \u0441\u0442\u0440\u0430\u0445\u043e\u0432\u043a\u0430:if grep -ql &#171;git-lfs.github.com\/spec&#187; &#171;$HF_DIR&#187;\/*.safetensors 2&gt;\/dev\/null; then    echo &#171;[!] \u0412 $HF_DIR \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u044b LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0432\u0435\u0441\u043e\u0432.&#187; &gt;&amp;2    exit 1fi\u0427\u0442\u043e \u044d\u0442\u043e \u043b\u043e\u0432\u0438\u0442. LFS-\u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 (130 \u0431\u0430\u0439\u0442) \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u0430\u0439\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 git \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0432\u043c\u0435\u0441\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432, \u0435\u0441\u043b\u0438 git-lfs \u043d\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d. convert_hf_to_gguf.py \u043d\u0430 \u043d\u0438\u0445 \u0443\u043f\u0430\u0434\u0451\u0442 \u0441 \u043d\u0435\u0432\u043d\u044f\u0442\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 (\u00abcannot load safetensors\u00bb), \u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u0430\u0451\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 Q4Q4_SIZE=$(stat -c%s &#171;$Q4_GGUF&#187;)if [ &#171;$Q4_SIZE&#187; -lt $((100 * 1024 * 1024)) ]; then    echo &#171;[!] \u041f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0444\u0430\u0439\u043b: $(du -h &#171;$Q4_GGUF&#187; | cut -f1)&#187; &gt;&amp;2    exit 1fi\u041f\u043e\u0440\u043e\u0433 100 \u041c\u0411 \u2014 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u0430\u043f\u0430\u0441\u043e\u043c. \u0414\u0430\u0436\u0435 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c 1.5B \u0432 Q4_K_M \u0432\u0435\u0441\u0438\u0442 ~1 \u0413\u0411. \u0415\u0441\u043b\u0438 \u0444\u0430\u0439\u043b \u043c\u0435\u043d\u044c\u0448\u0435 \u2014 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0448\u043b\u043e \u043d\u0435 \u0442\u0430\u043a \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, llama-quantize \u0443\u043f\u0430\u043b, \u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043b \u043f\u0443\u0441\u0442\u043e\u0439 \u0444\u0430\u0439\u043b). \u042d\u0442\u043e \u0434\u0435\u0448\u0451\u0432\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043b\u043e\u0432\u0438\u0442 99% \u043f\u0440\u043e\u0431\u043b\u0435\u043c.\u041e\u0447\u0438\u0441\u0442\u043a\u0430: CLEANUP_PATHS + trapCLEANUP_PATHS=()# &#8230;CLEANUP_PATHS+=(&#171;$HF_DIR&#187;)CLEANUP_PATHS+=(&#171;$F16_GGUF&#187;)cleanup() {    local ec=$?    trap &#8212; EXIT INT TERM    set +e    # &#8230;    for p in &#171;${CLEANUP_PATHS[@]}&#187;; do        [ -e &#171;$p&#187; ] &amp;&amp; rm -rf &#171;$p&#187;    done    exit &#171;$ec&#187;}trap cleanup EXIT INT TERM\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e. hf_model \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e 10\u201320 \u0413\u0411 .safetensors + F16 GGUF \u0435\u0449\u0451 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435. \u0415\u0441\u043b\u0438 \u0441\u043a\u0440\u0438\u043f\u0442 \u0443\u043f\u0430\u0434\u0451\u0442 \u043d\u0430 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, OOM \u043f\u0440\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438), \u0431\u0435\u0437 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f 20\u201340 \u0413\u0411 \u00ab\u043c\u0443\u0441\u043e\u0440\u0430\u00bb. trap \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u0438 \u043b\u044e\u0431\u043e\u043c \u0438\u0441\u0445\u043e\u0434\u0435 (\u0443\u0441\u043f\u0435\u0445, \u043e\u0448\u0438\u0431\u043a\u0430, Ctrl+C) \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0443\u0434\u0430\u043b\u044f\u044e\u0442\u0441\u044f.Q4_K_M \u0432 CLEANUP_PATHS \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u2014 \u044d\u0442\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442, \u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c.KEEP_INTERMEDIATE=1 \u2014 \u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438. \u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043f\u0430\u0434\u0430\u0435\u0442, \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u0432 hf_model \u0438 -f16.gguf:KEEP_INTERMEDIATE=1 .\/convert_to_gguf.sh Qwen\/Qwen3.5-2B\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u00ab\u043d\u0435 \u0438\u0434\u0443\u0442\u00bb\u041d\u0435 \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0438:KDA \/ Lissa \u2014 convert_hf_to_gguf.py \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 kda. \u0414\u0430\u0436\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 fla (flash-linear-attention) \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442: \u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0435 \u043d\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0430-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430 \u0434\u043b\u044f \u043d\u0435\u0451. \u0420\u0435\u0448\u0435\u043d\u0438\u0435: \u0436\u0434\u0430\u0442\u044c, \u043f\u043e\u043a\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432\u043e\u0439\u0434\u0451\u0442 \u0432 llama.cpp master (PR #18381), \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Python-\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0447\u0435\u0440\u0435\u0437 transformers.\u0421\u043e\u0432\u0441\u0435\u043c \u043d\u043e\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Mamba-\u0433\u0438\u0431\u0440\u0438\u0434\u044b) \u2014 \u043c\u043e\u0433\u0443\u0442 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c transformers \u0438\u0437 git (pip install git+https:\/\/github.com\/huggingface\/transformers.git), \u0435\u0441\u043b\u0438 \u0432 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043b\u0438\u0437\u0435 \u0438\u0445 \u0435\u0449\u0451 \u043d\u0435\u0442.\u041c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u043c trust_remote_code \u2014 \u0438\u043d\u043e\u0433\u0434\u0430 convert_hf_to_gguf.py \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0444\u043b\u0430\u0433 &#8212;trust-remote-code, \u0438\u043d\u0430\u0447\u0435 \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442 config.json.\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435. \u0417\u0430\u0439\u0434\u0438\u0442\u0435 \u0432 llama.cpp\/conversion\/ \u0438 \u043f\u043e\u0438\u0449\u0438\u0442\u0435 \u0444\u0430\u0439\u043b \u0441 \u0438\u043c\u0435\u043d\u0435\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b:ls llama.cpp\/conversion\/ | grep -i &lt;\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430&gt;\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, grep -i qwen \u043f\u043e\u043a\u0430\u0436\u0435\u0442 qwen.py. \u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442 \u0444\u0430\u0439\u043b\u0430 \u2014 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043d\u0435 \u043f\u0440\u043e\u0439\u0434\u0451\u0442 \u0431\u0435\u0437 \u043f\u0430\u0442\u0447\u0435\u0439.\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a:.\/convert_to_gguf.sh Qwen\/Qwen3.5-2B\u0411\u0435\u0437 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u0430 \u2014 \u0441\u043f\u0440\u043e\u0441\u0438\u0442 \u0438\u043c\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e:.\/convert_to_gguf.sh# \u0412\u0432\u0435\u0434\u0438\u0442\u0435 \u0438\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 Hugging Face (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Qwen\/Qwen3.5-2B): _\u0421 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432:KEEP_INTERMEDIATE=1 .\/convert_to_gguf.sh Qwen\/Qwen3.5-2B\u0427\u0442\u043e \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0432 models\/:models\/\u251c\u2500\u2500 Qwen3.5-2B-Q4_K_M.gguf     \u2190 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b (\u0433\u043e\u0442\u043e\u0432 \u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0443)\u2514\u2500\u2500 (\u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0445\u0430: hf_model\/ \u0438 Qwen3.5-2B-f16.gguf \u0443\u0434\u0430\u043b\u0435\u043d\u044b)\u0412\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b:\u041c\u043e\u0434\u0435\u043b\u044c\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435\u0418\u0442\u043e\u0433\u043eQwen3.5-2B2\u20135 \u043c\u0438\u043d1\u20132 \u043c\u0438\u043d30 \u0441\u0435\u043a~5 \u043c\u0438\u043dQwen3.5-9B10\u201320 \u043c\u0438\u043d5\u201310 \u043c\u0438\u043d1\u20132 \u043c\u0438\u043d~20 \u043c\u0438\u043dQwen3.5-35B30\u201360 \u043c\u0438\u043d20\u201340 \u043c\u0438\u043d3\u20135 \u043c\u0438\u043d~1.5 \u0447\u0430\u0441\u0430\u041d\u0430 HDD \u2014 \u0434\u043e\u043b\u044c\u0448\u0435 \u0432 2\u20133 \u0440\u0430\u0437\u0430 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435 \u0438 \u0447\u0442\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438).\u041a\u043e\u0434 convert_to_gguf.sh#!\/usr\/bin\/env bash# \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 Hugging Face \u0432 GGUF (F16) \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 Q4_K_M.# \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435: .\/convert_to_gguf.sh [USER\/REPO]# \u041f\u0440\u0438\u043c\u0435\u0440:        .\/convert_to_gguf.sh Qwen\/Qwen3.5-2B## \u0421\u043a\u0440\u0438\u043f\u0442 \u0441\u0430\u043c:#   &#8212; \u0434\u043e\u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b (\u0447\u0435\u0440\u0435\u0437 sudo apt);#   &#8212; \u0441\u043e\u0437\u0434\u0430\u0451\u0442\/\u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 venv \u0438 \u0441\u0442\u0430\u0432\u0438\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0437 llama.cpp\/requirements;#   &#8212; \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 `hf download`, \u0435\u0441\u043b\u0438 \u043f\u0430\u043f\u043a\u0438 hf_model \u043d\u0435\u0442;#   &#8212; \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u0432 F16 GGUF, \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442 \u0432 Q4_K_M;#   &#8212; \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u0432\u0430\u043d\u0442 \u0447\u0435\u0440\u0435\u0437 llama-cli;#   &#8212; \u0443\u0434\u0430\u043b\u044f\u0435\u0442 hf_model \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 F16 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.set -euo pipefail# &#8212; 0. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b &#8212;MODEL_ID=&#187;${1:-}&#187;if [ -z &#171;$MODEL_ID&#187; ]; then    read -r -p &#171;\u0412\u0432\u0435\u0434\u0438\u0442\u0435 \u0438\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 Hugging Face (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Qwen\/Qwen3.5-2B): &#187; MODEL_IDfi[ -n &#171;$MODEL_ID&#187; ] || { echo &#171;[!] \u0418\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0437\u0430\u0434\u0430\u043d\u043e.&#187; &gt;&amp;2; exit 1; }# \u041a\u043e\u0440\u043e\u0442\u043a\u043e\u0435 \u0438\u043c\u044f \u0434\u043b\u044f \u0444\u0430\u0439\u043b\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \/)MODEL_SHORT=&#187;${MODEL_ID##*\/}&#187;# &#8212; 1. \u041f\u0443\u0442\u0438 &#8212;SCRIPT_DIR=&#187;$(cd &#171;$(dirname &#171;${BASH_SOURCE[0]}&#187;)&#187; &amp;&amp; pwd)&#187;LLAMA_DIR=&#187;$SCRIPT_DIR\/llama.cpp&#187;REQ_DIR=&#187;$LLAMA_DIR\/requirements&#187;HF_DIR=&#187;$SCRIPT_DIR\/hf_model&#187;OUT_DIR=&#187;$SCRIPT_DIR\/models&#187;VENV_DIR=&#187;$SCRIPT_DIR\/venv&#187;mkdir -p &#171;$OUT_DIR&#187;# &#8212; 1a. \u041e\u0447\u0438\u0441\u0442\u043a\u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 (trap) &#8212;# CLEANUP_PATHS \u2014 \u0432\u0441\u0451, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u043f\u0440\u0438 \u0432\u044b\u0445\u043e\u0434\u0435. Q4_K_M \u0441\u044e\u0434\u0430 \u041d\u0415 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c.CLEANUP_PATHS=()cleanup() {    local ec=$?    trap &#8212; EXIT INT TERM        # \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0438    set +e                       # \u043e\u0447\u0438\u0441\u0442\u043a\u0430 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0430\u0434\u0430\u0442\u044c    echo &#171;&#187;    if [ &#171;${KEEP_INTERMEDIATE:-0}&#187; = &#171;1&#187; ]; then        echo &#171;[i] KEEP_INTERMEDIATE=1: \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u044b.&#187;        exit &#171;$ec&#187;    fi    if [ ${#CLEANUP_PATHS[@]} -gt 0 ]; then        echo &#171;[*] \u041e\u0447\u0438\u0441\u0442\u043a\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432&#8230;&#187;        for p in &#171;${CLEANUP_PATHS[@]}&#187;; do            if [ -e &#171;$p&#187; ]; then                echo &#187;    rm -rf $p&#187;                rm -rf &#171;$p&#187;            fi        done    fi    exit &#171;$ec&#187;}trap cleanup EXIT INT TERM# &#8212; 2. \u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b (\u0441\u0442\u0430\u0432\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435) &#8212;SYS_PKGS=(cmake build-essential libopenblas-dev python3 python3-venv python3-pip git curl wget jq)MISSING_SYS=()for pkg in &#171;${SYS_PKGS[@]}&#187;; do    # dpkg -s: \u043a\u043e\u0434 0 = \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d, \u0438\u043d\u0430\u0447\u0435 \u2014 \u043d\u0435\u0442    dpkg -s &#171;$pkg&#187; &amp;&gt;\/dev\/null || MISSING_SYS+=(&#171;$pkg&#187;)doneif [ ${#MISSING_SYS[@]} -gt 0 ]; then    echo &#171;[*] \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0445 \u043f\u0430\u043a\u0435\u0442\u043e\u0432: ${MISSING_SYS[*]}&#187;    sudo apt update -qq    sudo apt install -y -qq &#171;${MISSING_SYS[@]}&#187;else    echo &#171;[*] \u0412\u0441\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b \u0443\u0436\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b.&#187;fi# &#8212; 3. \u0421\u0431\u043e\u0440\u043a\u0430 llama.cpp (\u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e) &#8212;LLAMA_QUANTIZE=&#187;$LLAMA_DIR\/build\/bin\/llama-quantize&#187;LLAMA_CLI=&#187;$LLAMA_DIR\/build\/bin\/llama-cli&#187;if [ ! -x &#171;$LLAMA_QUANTIZE&#187; ] || [ ! -x &#171;$LLAMA_CLI&#187; ]; then    echo&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-500329","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500329","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=500329"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500329\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=500329"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=500329"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=500329"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}