{"id":477309,"date":"2026-04-24T16:57:14","date_gmt":"2026-04-24T16:57:14","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=477309"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=477309","title":{"rendered":"Open WebUI (\u0441 \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u043e\u043c) + llama.cpp"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041a\u043e\u0433\u0434\u0430 \u044f \u0440\u0435\u0448\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a \u0432 OpenWebUI \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c. \u0413\u0430\u0439\u0434 \u043f\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0445\u043e\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e-\u0442\u043e \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430\u0439\u0442\u0438 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c, \u043d\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0451 \u0447\u0442\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0430\u0439\u0442\u0438 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p>\u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u043c\u0438 \u0438 \u043f\u043b\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c\u0438. \u041d\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: \u0437\u0430\u043f\u0440\u0435\u0442 \u0438\u043b\u0438 \u043d\u0435\u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0440\u0435\u0442\u044c\u0438\u043c \u043b\u0438\u0446\u0430\u043c, \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Unrestricted\/Derestricted\/Oblitirated \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b NVIDIA 3090 24Gb \u0438 32Gb RAM \u043d\u0430 Windows 10 (22H2).<\/p>\n<h2>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a llama.cpp<\/h2>\n<ol>\n<li>\n<p><a href=\"https:\/\/www.nvidia.com\/en-us\/drivers\/\" rel=\"noopener noreferrer nofollow\">\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c<\/a> \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/releases\" rel=\"noopener noreferrer nofollow\">\u041a\u0430\u0447\u0430\u0435\u043c<\/a> llama.cpp \u0434\u043b\u044f Windows x64 (CUDA 13) \u0438 CUDA 13.1 DLLS. \u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u0430\u0442\u044c \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u043f\u043a\u0443. \u0412 \u043c\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u201cG:\\llama-b8477-bin-win-cuda-13.1-x64\u201d. \u0422\u0430\u043a \u0436\u0435 \u0443 llama.cpp \u0435\u0441\u0442\u044c Docker \u043e\u0431\u0440\u0430\u0437\u044b. (\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043d\u0435 \u043a\u043b\u0430\u0441\u0442\u044c DLL \u043c\u043e\u0436\u043d\u043e <a href=\"https:\/\/developer.nvidia.com\/cuda-13-1-1-download-archive\" rel=\"noopener noreferrer nofollow\">\u0441\u043a\u0430\u0447\u0430\u0442\u044c<\/a> \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c Nvidia CUDA Toolkit 13.1)<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 gguf \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u043f\u043a\u0443. \u0412 \u043c\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u201cG:\\llm\u201d. <\/p>\n<ol>\n<li>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b <a href=\"https:\/\/huggingface.co\/unsloth\/Qwen3.5-27B-GGUF\" rel=\"noopener noreferrer nofollow\">Qwen3.5-27B-UD-Q4_K_XL<\/a>. \u0422\u0430\u043a \u0436\u0435 \u0441\u043a\u0430\u0447\u0430\u0439\u0442\u0435 mmproj-BF16.gguf \u043e\u0442\u0442\u0443\u0434\u0430 \u0436\u0435 \u0438\u0437 \u201cFiles and versions\u201d \u0438 \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u0443\u0439\u0442\u0435 \u0432 \u201cQwen3.5-27B-UD-Q4_K_XL-mmproj-BF16.gguf\u201d &#8212; \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u0439 \u0448\u0442\u0443\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0434\u043b\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u0440\u0438 \u0432\u0435\u0431 \u043f\u043e\u0438\u0441\u043a\u0435 <a href=\"https:\/\/huggingface.co\/Qwen\/Qwen3-Embedding-4B-GGUF\" rel=\"noopener noreferrer nofollow\">Qwen3-Embedding-4B-f16<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432\u0435\u0431 \u043f\u043e\u0438\u0441\u043a\u0430 <a href=\"https:\/\/huggingface.co\/Voodisss\/Qwen3-Reranker-4B-GGUF-llama_cpp\" rel=\"noopener noreferrer nofollow\">Qwen3-Reranker-4B-f16<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043c\u0435\u043b\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 (\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0447\u0430\u0442\u0430, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u044f \u0432\u0435\u0431 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043c\u0431 \u0435\u0449\u0451 \u0434\u043b\u044f \u0447\u0435\u0433\u043e-\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f) <a href=\"https:\/\/huggingface.co\/unsloth\/Qwen3.5-2B-GGUF\" rel=\"noopener noreferrer nofollow\">Qwen3.5-2B-BF16<\/a>.<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432 \u043f\u0430\u043f\u043a\u0435, \u043a\u0443\u0434\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043e\u0437\u0434\u0430\u0451\u043c \u0444\u0430\u0439\u043b \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u201cstart-all.ini\u201d \u0432 \u201cG:\\llm\u201d.<\/p>\n<pre><code>[*]# Global defaults \u2014 applied to every model unless overriddenno-mmap = truemetrics = truecache-ram = 0sleep-idle-seconds = 1200n-gpu-layers = allbatch-size = 2048ubatch-size = 2048[Qwen3.5-2B-BF16]model = G:\\llm\\Qwen3.5-2B-BF16.ggufctx-size = 65536top-p = 1.0top-k = 20 min-p = 0.0temp = 0.5 repeat-penalty = 1.0presence-penalty = 2.0load-on-startup = falseparallel = 4chat-template-kwargs = {\"enable_thinking\":false}[Qwen3-Embedding-4B-f16]model = G:\\llm\\Qwen3-Embedding-4B-f16.ggufembedding = truepooling = meanctx-size = 32768load-on-startup = falseparallel = 8[Qwen3-Reranker-4B-f16]model = G:\\llm\\Qwen3-Reranker-4B-f16.ggufreranking = truepooling = rankembedding = truectx-size = 32768load-on-startup = falseparallel = 8[Qwen3.5-27B-UD-Q4_K_XL-thinking]model = G:\\llm\\Qwen3.5-27B-UD-Q4_K_XL.ggufmmproj = Qwen3.5-27B-UD-Q4_K_XL-mmproj-BF16.ggufctx-size = 65536top-p = 0.95top-k = 20min-p = 0.0temp = 1.0 repeat-penalty = 1.0presence-penalty = 1.5load-on-startup = falseparallel = 1[Qwen3.5-27B-UD-Q4_K_XL-instruct]model = G:\\llm\\Qwen3.5-27B-UD-Q4_K_XL.ggufmmproj = Qwen3.5-27B-UD-Q4_K_XL-mmproj-BF16.ggufctx-size = 65536top-p = 0.8top-k = 20 min-p = 0.0temp = 0.7 repeat-penalty = 1.0presence-penalty = 1.5load-on-startup = falseparallel = 1chat-template-kwargs = {\"enable_thinking\":false}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0451\u043c bat \u0444\u0430\u0439\u043b, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c llama-server. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u201cstart-all.bat\u201d:<\/p>\n<pre><code>G:\\llama-b8477-bin-win-cuda-13.1-x64\\llama-server ^--port 9999 ^--models-max 1 ^--models-preset start-all.ini <\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h3>\u041f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0437\u0430\u043f\u0443\u0441\u043a\u0430<\/h3>\n<ul>\n<li>\n<p>no-mmap = true &#8212; \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 RAM. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 VRAM.<\/p>\n<\/li>\n<li>\n<p>metrics = true &#8212; \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \/metrics \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442\u0435. (\u041f\u0440\u0438\u043c\u0435\u0440: <a href=\"http:\/\/127.0.0.1:9999\/metrics?model=Qwen3.5-27B-UD-Q4_K_XL-thinking\" rel=\"noopener noreferrer nofollow\">http:\/\/127.0.0.1:9999\/metrics?model=Qwen3.5-27B-UD-Q4_K_XL-thinking<\/a>)<\/p>\n<\/li>\n<li>\n<p>cache-ram = 0 &#8212; \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u043a\u0435\u0448 \u0434\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u0412 \u043d\u0451\u043c \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>sleep-idle-seconds = 1200 &#8212; \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 VRAM \u0447\u0435\u0440\u0435\u0437 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0435\u043a\u0443\u043d\u0434.<\/p>\n<\/li>\n<li>\n<p>n-gpu-layers = all &#8212; \u043a\u0430\u043a\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0441\u043b\u043e\u0451\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432 VRAM.<\/p>\n<\/li>\n<li>\n<p>ctx-size = 65536 &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>load-on-startup = false &#8212; \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u0441\u0442\u0430\u0440\u0442\u0435.<\/p>\n<\/li>\n<li>\n<p>parallel = 4 &#8212; \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043e\u0434\u043d\u043e\u0432\u0435\u0440\u043c\u0435\u043d\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438\u0437 ctx-size \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u044d\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e (65536 \/ 4 = 16384).<\/p>\n<\/li>\n<li>\n<p>chat-template-kwargs = {\u201cenable_thinking\u201d:false} &#8212; \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0443 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>\u2013models-max 1 &#8212; \u043e\u0434\u043d\u043e\u0432\u0435\u0440\u043c\u0435\u043d\u043d\u043e \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0441\u044e VRAM. \u0415\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u0430 \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c. \u0412 \u0438\u0434\u0435\u0430\u043b\u0435 \u043d\u0443\u0436\u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u043e\u0434\u043d\u0430 \u043a\u0440\u0443\u043f\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u043b\u043a\u0438\u0445. \u041d\u043e \u043f\u043e\u043a\u0430 \u0442\u0430\u043a\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043d\u0435\u0442. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0431\u0443\u0434\u0435\u0442 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c. \u041d\u043e\u0432\u044b\u0435 \u0444\u0438\u0447\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e. \u0421\u043b\u0435\u0434\u0438\u0442\u0435 \u0437\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/blob\/master\/tools\/server\/README.md\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c start-all.bat \u0438 \u0432\u0438\u0434\u0438\u043c \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/0d\/57\/4d\/0d574d21d45fa5c12569c5a96f09e631.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/0d\/57\/4d\/0d574d21d45fa5c12569c5a96f09e631.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/0d\/57\/4d\/0d574d21d45fa5c12569c5a96f09e631.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c <a href=\"http:\/\/127.0.0.1:9999\/\" rel=\"noopener noreferrer nofollow\">http:\/\/127.0.0.1:9999\/<\/a> \u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f llama.cpp. \u041f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0436\u0434\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u043a\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c. <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/64\/72\/13\/647213a8b283e09daa61a669fa79aeeb.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/64\/72\/13\/647213a8b283e09daa61a669fa79aeeb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/64\/72\/13\/647213a8b283e09daa61a669fa79aeeb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0447\u0430\u0442\u0430, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0437\u0434\u0435\u0441\u044c.<\/p>\n<h2>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a Open WebUI<\/h2>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c Open WebUI \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435, \u0442\u043e \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f wsl \u0438 Docker Desktop.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c wsl \u043d\u0430\u0434\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u043d\u0430\u0434\u0443 \u201cwsl install\u201d. \u041e\u0434\u043d\u0430\u043a\u043e, \u043a\u043e\u0433\u0434\u0430 \u044f \u0443\u0434\u0430\u043b\u0438\u043b wsl \u201cwsl &#8212;uninstall\u201d, \u0442\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u201cwsl &#8212;update\u201d.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/a0\/06\/3f\/a0063fbc25c1145f060b1e2331326174.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/a0\/06\/3f\/a0063fbc25c1145f060b1e2331326174.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/a0\/06\/3f\/a0063fbc25c1145f060b1e2331326174.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043b\u043e\u0433\u0438\u043d \u0438 \u043f\u0430\u0440\u043e\u043b\u044c \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0415\u0441\u043b\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 <a href=\"https:\/\/learn.microsoft.com\/ru-ru\/windows\/wsl\/install-manual\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u0443<\/a> \u0441\u0442\u0430\u0442\u044c\u044e.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043a\u0430\u0447\u0430\u0435\u043c, \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c Docker Desktop <a href=\"https:\/\/www.docker.com\/products\/docker-desktop\/\" rel=\"noopener noreferrer nofollow\">\u043e\u0442\u0441\u044e\u0434\u0430<\/a>. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043c\u043d\u044e \u0442\u0430\u043c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0431\u044b\u0442\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e.<\/p>\n<p>\u0412\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u043e \u0442\u0430\u043a: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/75\/d1\/e1\/75d1e1963e2402ea2551eaa2a76461e7.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/75\/d1\/e1\/75d1e1963e2402ea2551eaa2a76461e7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/75\/d1\/e1\/75d1e1963e2402ea2551eaa2a76461e7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0451\u043c docker-compose.yml. \u0421\u043e\u0437\u0434\u0430\u043b \u0435\u0433\u043e \u0432 G:\\openwebui.<\/p>\n<pre><code class=\"yaml\">services:  open-webui:    image: ghcr.io\/open-webui\/open-webui:v0.8.6    container_name: open-webui    restart: unless-stopped    ports:      - \"3000:8080\"    volumes:      - G:\/openwebui\/volume:\/app\/backend\/data    environment:      - RAG_SYSTEM_CONTEXT=True      - ENABLE_QUERIES_CACHE=True        - ENABLE_REALTIME_CHAT_SAVE=False    networks:      - webui-net    tika:    image: apache\/tika:latest-full    container_name: tika    restart: unless-stopped    ports:      - 9998:9998    networks:      - webui-netnetworks:  webui-net:    driver: bridge<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 \u0432 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 docker-compose.yaml, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u201cdocker compose up -d\u201d, \u0436\u0434\u0451\u043c \u043f\u043e\u043a\u0430 \u0441\u043a\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0437\u044b \u0438 \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/1c\/d1\/c2\/1cd1c25043a543a9013d404d86c78f18.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/1c\/d1\/c2\/1cd1c25043a543a9013d404d86c78f18.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/1c\/d1\/c2\/1cd1c25043a543a9013d404d86c78f18.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u0430 \u0441\u043a\u0440\u0438\u043d\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0442, \u0442.\u043a. \u043e\u0431\u0440\u0430\u0437\u044b \u0431\u044b\u043b\u0438 \u0441\u043a\u0430\u0447\u0430\u043d\u044b \u0440\u0430\u043d\u0435\u0435.<\/p>\n<p>\u0412 Docker Desktop \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/ec\/a1\/5e\/eca15e09d3a342508b14d004b6ab2a64.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/ec\/a1\/5e\/eca15e09d3a342508b14d004b6ab2a64.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/ec\/a1\/5e\/eca15e09d3a342508b14d004b6ab2a64.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c <a href=\"http:\/\/localhost:3000\/\" rel=\"noopener noreferrer nofollow\">http:\/\/localhost:3000\/<\/a> \u041f\u043e\u043f\u0440\u043e\u0441\u0438\u0442 \u043f\u043e\u0447\u0442\u0443 \u0438 \u043f\u0430\u0440\u043e\u043b\u044c \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0430\u0434\u043c\u0438\u043d\u0430.<\/p>\n<p>\u0421\u0432\u0435\u0440\u0445\u0443 \u0441\u043f\u0440\u0430\u0432\u0430 \u0436\u043c\u0451\u043c \u043d\u0430 \u0438\u043a\u043e\u043d\u043a\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0412 \u0432\u044b\u043f\u0430\u0432\u0448\u0435\u043c \u043c\u0435\u043d\u044e \u0432\u044b\u0431\u0435\u0440\u0430\u0435\u043c \u201c\u041f\u0430\u043d\u0435\u043b\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\u201d: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/e7\/4b\/27\/e74b273fee5a05f7d930dfe5126a2403.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/e7\/4b\/27\/e74b273fee5a05f7d930dfe5126a2403.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/e7\/4b\/27\/e74b273fee5a05f7d930dfe5126a2403.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0422\u0430\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u201c\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u201d &#8212; \u201c\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u201d \u0438 \u043d\u0430\u0436\u043c\u0438\u0442\u0435 \u043d\u0430  \u201c+\u201d <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/1a\/ed\/36\/1aed3663269d406467a2e1af563c52b6.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/1a\/ed\/36\/1aed3663269d406467a2e1af563c52b6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/1a\/ed\/36\/1aed3663269d406467a2e1af563c52b6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412 \u043f\u043e\u044f\u0432\u0438\u0432\u0448\u0435\u043c\u0441\u044f \u043e\u043a\u043d\u0435 \u0432 \u043f\u043e\u043b\u0435 \u201cURL\u201d \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u201c<a href=\"http:\/\/host.docker.internal:9999\/v1\" rel=\"noopener noreferrer nofollow\">http:\/\/host.docker.internal:9999\/v1<\/a>\u201d, \u0436\u043c\u0451\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/ae\/91\/df\/ae91dfa409ea02486aaac4bc5f9c9e39.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/ae\/91\/df\/ae91dfa409ea02486aaac4bc5f9c9e39.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/ae\/91\/df\/ae91dfa409ea02486aaac4bc5f9c9e39.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u201c\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u201d \u0438 \u0442\u0430\u043c \u0432 \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u201d \u0438 \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u201d \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u201cQwen3.5-2B-BF16\u201d<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/9a\/1f\/a7\/9a1fa79a6308cff5bd9850b3f11761d6.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/9a\/1f\/a7\/9a1fa79a6308cff5bd9850b3f11761d6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/9a\/1f\/a7\/9a1fa79a6308cff5bd9850b3f11761d6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0418 \u0432 \u043d\u0438\u0436\u043d\u0435\u043c \u043f\u0440\u0430\u0432\u043e\u043c \u0443\u0433\u043b\u0443 \u0436\u043c\u0451\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0436\u043c\u0451\u043c \u0441\u043b\u0435\u0432\u0430 \u0441\u0432\u0435\u0440\u0445\u0443 \u201c\u041d\u043e\u0432\u044b\u0439 \u0447\u0430\u0442\u201d &#8212; \u201cArena model\u201d. \u0422\u0430\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041b\u044e\u0431\u0430\u044f \u0447\u0442\u043e-\u0442\u043e \u0434\u0430 \u043e\u0442\u0432\u0435\u0442\u0438\u0442. \u041d\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u201cQwen3.5-27B-UD-Q4_K_XL-instruct\u201d \u0434\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0431\u0435\u0437 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439. \u0418 \u201cQwen3.5-27B-UD-Q4_K_XL-thinking\u201d \u0434\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f\u043c\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/fa\/54\/0d\/fa540d45892f6d0a0d6d7d1789f624f5.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/fa\/54\/0d\/fa540d45892f6d0a0d6d7d1789f624f5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/fa\/54\/0d\/fa540d45892f6d0a0d6d7d1789f624f5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412\u0432\u043e\u0434\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441, \u0436\u0434\u0451\u043c \u043f\u043e\u043a\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0423 \u043c\u0435\u043d\u044f \u044d\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u043e \u043c\u0438\u043d\u0443\u0442\u044b. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0442\u0432\u0435\u0442: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/21\/b7\/01\/21b7016796f05fb85a3b07f1dcc35517.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/21\/b7\/01\/21b7016796f05fb85a3b07f1dcc35517.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/21\/b7\/01\/21b7016796f05fb85a3b07f1dcc35517.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<details class=\"spoiler\">\n<summary>\u041c\u041e\u0416\u0415\u0422 \u0411\u042b\u0422\u042c \u041f\u0420\u041e\u0411\u041b\u0415\u041c\u0410<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0415\u0441\u043b\u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0430 \u0441 \u0447\u0430\u0442\u043e\u043c, \u0442\u043e 3D \u0440\u0430\u0437\u0434\u0435\u043b \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 100% \u0438 CUDA \u0440\u0430\u0437\u0434\u0435\u043b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f. \u0412 \u0438\u0442\u043e\u0433\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0434\u043e\u0436\u0434\u0430\u0442\u044c\u0441\u044f.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/8c\/03\/ec\/8c03ec829a46114dd4bd4a9cdf929bd1.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/8c\/03\/ec\/8c03ec829a46114dd4bd4a9cdf929bd1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/8c\/03\/ec\/8c03ec829a46114dd4bd4a9cdf929bd1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412 \u043c\u043e\u043c\u0435\u043d\u0442 1 \u0438 3 \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0430 \u0441 \u0447\u0430\u0442\u043e\u043c. \u0412 \u043c\u043e\u043c\u0435\u043d\u0442 2 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u043b\u0441\u044f \u043d\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0443 \u0431\u0435\u0437 \u0430\u043d\u0438\u043c\u0430\u0446\u0438\u0439 \u0438\u043b\u0438 \u0441\u0432\u0435\u0440\u043d\u0443\u043b \u0431\u0440\u0430\u0443\u0437\u0435\u0440. \u0423 \u043c\u0435\u043d\u044f Firefox. \u0412 Edge \u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0415\u0441\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 llama.cpp (<a href=\"http:\/\/127.0.0.1:9999\/\" rel=\"noopener noreferrer nofollow\">http:\/\/127.0.0.1:9999\/<\/a>), \u0442\u043e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0430\u044f \u0436\u0435.<\/p>\n<p>\u0421 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0435\u0442.<\/p>\n<\/div>\n<\/details>\n<h3>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u043b\u044f \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430<\/h3>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0440\u0438 \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f RAG, \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0442\u043e\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043b\u0430\u0447\u0435\u0432\u043d\u043e\u0435.<\/p>\n<p>\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u0432 \u201c\u041f\u0430\u043d\u0435\u043b\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\u201d &#8212; \u201c\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u201d &#8212; \u201cDocuments\u201d.<br \/> \u0412 \u201c\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430\u201d \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c Tika \u0438 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c URL \u201c<a href=\"http:\/\/host.docker.internal:9998\" rel=\"noopener noreferrer nofollow\">http:\/\/host.docker.internal:9998<\/a>\u201d<br \/> \u0412 \u201c\u0414\u0432\u0438\u0436\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043d\u0438\u044f\u201d URL \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u201c<a href=\"http:\/\/host.docker.internal:9999\/v1\" rel=\"noopener noreferrer nofollow\">http:\/\/host.docker.internal:9999\/v1<\/a>\u201d \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u201cQwen3-Embedding-4B-f16\u201d<br \/> \u0412 \u201c\u0414\u0432\u0438\u0436\u043e\u043a \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u201d \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u201c\u0412\u043d\u0435\u0448\u043d\u0435\u0435\u201d \u0438 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c URL \u201c<a href=\"http:\/\/host.docker.internal:9999\/v1\/rerank\" rel=\"noopener noreferrer nofollow\">http:\/\/host.docker.internal:9999\/v1\/rerank<\/a>\u201d \u0438 \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u201d &#8212; \u201cQwen3-Reranker-4B-f16\u201d<br \/> \u041d\u0430\u0436\u0438\u043c\u0430\u0435\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d \u0432\u043d\u0438\u0437\u0443 \u0441\u043f\u0440\u0430\u0432\u0430.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/f3\/83\/5f\/f3835f5bfe6ac1eca8eb102ca6e5be9c.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/f3\/83\/5f\/f3835f5bfe6ac1eca8eb102ca6e5be9c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/f3\/83\/5f\/f3835f5bfe6ac1eca8eb102ca6e5be9c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0418 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0412\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430. \u042f \u0432\u044b\u0431\u0440\u0430\u043b Brave &#8212; \u0434\u0430\u0451\u0442 $5 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u0435\u0441\u044f\u0446, \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0443. \u0422\u0430\u043a \u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043b\u0438\u043c\u0438\u0442, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/7a\/8a\/4f\/7a8a4f2266050b21e8ee39bac2e727f9.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/7a\/8a\/4f\/7a8a4f2266050b21e8ee39bac2e727f9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/7a\/8a\/4f\/7a8a4f2266050b21e8ee39bac2e727f9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438.<\/p>\n<p>\u041f\u0440\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u201c\u0412\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430\u201d: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/3e\/33\/ad\/3e33adc36557ef5f1f4fddf630e61844.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/3e\/33\/ad\/3e33adc36557ef5f1f4fddf630e61844.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/3e\/33\/ad\/3e33adc36557ef5f1f4fddf630e61844.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/23\/19\/c0\/2319c0d2405b989d6684e4e2c4122a29.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/23\/19\/c0\/2319c0d2405b989d6684e4e2c4122a29.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/23\/19\/c0\/2319c0d2405b989d6684e4e2c4122a29.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<hr\/>\n<p>\u041f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043e\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (Qwen3.5-2B-BF16) \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0447\u0430\u0442\u0430. \u041d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u0442.\u043a. \u044d\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0447\u0430\u0442\u0430 \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f. \u0423 \u043c\u0435\u043d\u044f \u0442\u0430\u043a \u0431\u044b\u043b\u043e, \u043a\u043e\u0433\u0434\u0430 \u0432 \u201c\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u201d &#8212; \u201c\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u201d &#8212; \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u201d \u0431\u044b\u043b\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u201c\u0422\u0435\u043a\u0443\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u201d.<br \/> \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u0443\u0434\u0443\u0442 \u0442\u0430\u043a \u0436\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c\u0441\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438 \u0440\u0435\u0440\u0430\u043d\u0433\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438. \u041a\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u044e\u0442\u0441\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043e\u043c\u0442\u0440\u0435\u0442\u044c \u0432 \u043b\u043e\u0433\u0435 llama-server.<\/p>\n<hr\/>\n<h2>\u0427\u0442\u043e \u0435\u0449\u0451?<\/h2>\n<ul>\n<li>\n<p><a href=\"https:\/\/docs.openwebui.com\/\" rel=\"noopener noreferrer nofollow\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f<\/a> Open WebUI &#8212; \u0442\u0430\u043c \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043a\u0430\u043a \u0437\u0430\u043f\u0443\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u0442 \u0432 VRAM <a href=\"https:\/\/habr.com\/ru\/articles\/961478\/\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c GPT-OSS-120B \u043d\u0430 6 \u0413\u0431 GPU \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0434\u043e 30 t\/s<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430 unsloth.ai <a href=\"https:\/\/unsloth.ai\/docs\/models\/qwen3.5\" rel=\"noopener noreferrer nofollow\">Qwen3.5 &#8212; How to Run Locally<\/a>. \u0422\u0430\u043a \u0436\u0435 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438, \u043a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0434\u0443\u0440\u0433\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e Tika \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Docling \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432. \u0421\u0430\u043c \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432 (\u0441\u0430\u043c \u0438\u0445 \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b), \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u043c\u0435\u0441\u044f\u0446: <\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/exa.ai\/docs\/reference\/search\" rel=\"noopener noreferrer nofollow\">exa.ai<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.tavily.com\" rel=\"noopener noreferrer nofollow\">tavily<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/serper.dev\/\" rel=\"noopener noreferrer nofollow\">serper<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.linkup.so\/#our-product-1\" rel=\"noopener noreferrer nofollow\">linkup<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/docs.valyu.ai\/overview\" rel=\"noopener noreferrer nofollow\">valyu<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432 Docker &#8212; SearXNG. \u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b, \u0447\u0430\u0441\u0442\u043e \u0434\u0432\u0438\u0436\u043a\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432 \u0431\u0430\u043d\u0438\u043b\u0438 \u043d\u0430 \u0432\u0440\u0435\u043c\u044f. \u0422\u0430\u043a \u0436\u0435 \u0435\u0441\u0442\u044c \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u044b. <\/p>\n<details class=\"spoiler\">\n<summary>docker-compose \u0434\u043b\u044f SearXNG<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"yaml\">  searxng:    image: ghcr.io\/searxng\/searxng:latest    container_name: searxng    ports:      - \"8888:8080\"    volumes:      - G:\/searxng\/volume\/config:\/etc\/searxng      - G:\/searxng\/volume\/data:\/var\/cache\/searxng    networks:      - webui-net<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u201c\u0412\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430\u201d \u201c\u0414\u0432\u0438\u0436\u043e\u043a \u0432\u0435\u0431-\u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430\u201d \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b playwright \u0432 Docker. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043e\u043b\u0433\u043e, \u0432 \u043c\u0438\u043d\u0443\u0442\u0430\u0445. <\/p>\n<details class=\"spoiler\">\n<summary>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u043b\u044f playwright<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"yaml\">  playwright:    image: mcr.microsoft.com\/playwright:v1.58.0-noble # Version must match requirements.txt    container_name: playwright    command: npx -y playwright@1.58.0 run-server --port 3000 --host 0.0.0.0    networks:      - webui-net<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p> \u0412 \u201c\u041f\u0430\u043d\u0435\u043b\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\u201d &#8212; \u201c\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u201d &#8212; \u201c\u0412\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u201d \u0432 \u201c\u0414\u0432\u0438\u0436\u043e\u043a \u0432\u0435\u0431-\u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430\u201d \u0432\u044b\u0431\u0440\u0430\u0435\u043c playwright, \u0432 \u201cPlaywright WebSocket URL\u201d &#8212; \u201cws:\/\/playwright:3000\u201d, Timeout &#8212; \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441 30000 \u043c\u0441. <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/54\/16\/e2\/5416e2f40e37a38032156e5d4454d3c0.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/54\/16\/e2\/5416e2f40e37a38032156e5d4454d3c0.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/54\/16\/e2\/5416e2f40e37a38032156e5d4454d3c0.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<\/div>\n<\/details>\n<\/li>\n<li>\n<p>\u0412 OpenWebUI \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0447\u0438 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0412 OpenWebUI \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0432\u0430\u0442\u044c \u0432\u043d\u0435\u0434\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u0434\u043b\u044f \u043e\u0441\u043d\u043e\u0441\u043d\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430, \u0440\u0435\u0440\u0430\u043d\u043a\u0438\u043d\u0433\u0430 \u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 \u0441 \u0432\u0435\u0431-\u0441\u0442\u0440\u0430\u043d\u0438\u0446: <a href=\"https:\/\/www.perplexity.ai\/\" rel=\"noopener noreferrer nofollow\">perplexity.ai<\/a>, <a href=\"https:\/\/openrouter.ai\" rel=\"noopener noreferrer nofollow\">openrouter.ai<\/a><a href=\"https:\/\/parallel.ai\" rel=\"noopener noreferrer nofollow\">parallel.ai<\/a>, <a href=\"https:\/\/www.firecrawl.dev\" rel=\"noopener noreferrer nofollow\">firecrawl.dev<\/a>, <a href=\"https:\/\/jina.ai\/\" rel=\"noopener noreferrer nofollow\">jina.ai<\/a><\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e OpenWebUI, \u0435\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0435\u0431 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/www.librechat.ai\/\" rel=\"noopener noreferrer nofollow\">LibreChat<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c <a href=\"https:\/\/opencode.ai\/\" rel=\"noopener noreferrer nofollow\">OpenCode<\/a>, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043e\u0431\u0440\u0430\u0449\u0430\u043b\u0441\u044f \u043a \u0443\u0436\u0435 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u043e\u043c\u0443 llama-server.<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1027676\/\">https:\/\/habr.com\/ru\/articles\/1027676\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041a\u043e\u0433\u0434\u0430 \u044f \u0440\u0435\u0448\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a \u0432 OpenWebUI \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c. \u0413\u0430\u0439\u0434 \u043f\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0445\u043e\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e-\u0442\u043e \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430\u0439\u0442\u0438 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c, \u043d\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0451 \u0447\u0442\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0430\u0439\u0442\u0438 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.\u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u043c\u0438 \u0438 \u043f\u043b\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c\u0438. \u041d\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: \u0437\u0430\u043f\u0440\u0435\u0442 \u0438\u043b\u0438 \u043d\u0435\u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0440\u0435\u0442\u044c\u0438\u043c \u043b\u0438\u0446\u0430\u043c, \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Unrestricted\/Derestricted\/Oblitirated \u043c\u043e\u0434\u0435\u043b\u0438.\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b NVIDIA 3090 24Gb \u0438 32Gb RAM \u043d\u0430 Windows 10 (22H2).\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a llama.cpp\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b.\u041a\u0430\u0447\u0430\u0435\u043c llama.cpp \u0434\u043b\u044f Windows x64 (CUDA 13) \u0438 CUDA 13.1 DLLS. \u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u0430\u0442\u044c \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u043f\u043a\u0443. \u0412 \u043c\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u201cG:\\llama-b8477-bin-win-cuda-13.1-x64\u201d. \u0422\u0430\u043a \u0436\u0435 \u0443 llama.cpp \u0435\u0441\u0442\u044c Docker \u043e\u0431\u0440\u0430\u0437\u044b. (\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043d\u0435 \u043a\u043b\u0430\u0441\u0442\u044c DLL \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c Nvidia CUDA Toolkit 13.1)\u041a\u0430\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 gguf \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u043f\u043a\u0443. \u0412 \u043c\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u201cG:\\llm\u201d. \u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b Qwen3.5-27B-UD-Q4_K_XL. \u0422\u0430\u043a \u0436\u0435 \u0441\u043a\u0430\u0447\u0430\u0439\u0442\u0435 mmproj-BF16.gguf \u043e\u0442\u0442\u0443\u0434\u0430 \u0436\u0435 \u0438\u0437 \u201cFiles and versions\u201d \u0438 \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u0443\u0439\u0442\u0435 \u0432 \u201cQwen3.5-27B-UD-Q4_K_XL-mmproj-BF16.gguf\u201d &#8212; \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u0439 \u0448\u0442\u0443\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438.\u0414\u043b\u044f \u0434\u043b\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u043f\u0440\u0438 \u0432\u0435\u0431 \u043f\u043e\u0438\u0441\u043a\u0435 Qwen3-Embedding-4B-f16.\u0414\u043b\u044f \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432\u0435\u0431 \u043f\u043e\u0438\u0441\u043a\u0430 Qwen3-Reranker-4B-f16.\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043c\u0435\u043b\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 (\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0447\u0430\u0442\u0430, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u044f \u0432\u0435\u0431 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043c\u0431 \u0435\u0449\u0451 \u0434\u043b\u044f \u0447\u0435\u0433\u043e-\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f) Qwen3.5-2B-BF16.\u0422\u0435\u043f\u0435\u0440\u044c \u0432 \u043f\u0430\u043f\u043a\u0435, \u043a\u0443\u0434\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043e\u0437\u0434\u0430\u0451\u043c \u0444\u0430\u0439\u043b \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u201cstart-all.ini\u201d \u0432 \u201cG:\\llm\u201d.[*]# Global defaults \u2014 applied to every model unless overriddenno-mmap = truemetrics = truecache-ram = 0sleep-idle-seconds = 1200n-gpu-layers = allbatch-size = 2048ubatch-size = 2048[Qwen3.5-2B-BF16]model = G:\\llm\\Qwen3.5-2B-BF16.ggufctx-size = 65536top-p = 1.0top-k = 20 min-p = 0.0temp = 0.5 repeat-penalty = 1.0presence-penalty = 2.0load-on-startup = falseparallel = 4chat-template-kwargs = {&#171;enable_thinking&#187;:false}[Qwen3-Embedding-4B-f16]model = G:\\llm\\Qwen3-Embedding-4B-f16.ggufembedding = truepooling = meanctx-size = 32768load-on-startup = falseparallel = 8[Qwen3-Reranker-4B-f16]model = G:\\llm\\Qwen3-Reranker-4B-f16.ggufreranking = truepooling = rankembedding = truectx-size = 32768load-on-startup = falseparallel = 8[Qwen3.5-27B-UD-Q4_K_XL-thinking]model = G:\\llm\\Qwen3.5-27B-UD-Q4_K_XL.ggufmmproj = Qwen3.5-27B-UD-Q4_K_XL-mmproj-BF16.ggufctx-size = 65536top-p = 0.95top-k = 20min-p = 0.0temp = 1.0 repeat-penalty = 1.0presence-penalty = 1.5load-on-startup = falseparallel = 1[Qwen3.5-27B-UD-Q4_K_XL-instruct]model = G:\\llm\\Qwen3.5-27B-UD-Q4_K_XL.ggufmmproj = Qwen3.5-27B-UD-Q4_K_XL-mmproj-BF16.ggufctx-size = 65536top-p = 0.8top-k = 20 min-p = 0.0temp = 0.7 repeat-penalty = 1.0presence-penalty = 1.5load-on-startup = falseparallel = 1chat-template-kwargs = {&#171;enable_thinking&#187;:false}\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0451\u043c bat \u0444\u0430\u0439\u043b, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c llama-server. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u201cstart-all.bat\u201d:G:\\llama-b8477-bin-win-cuda-13.1-x64\\llama-server ^&#8212;port 9999 ^&#8212;models-max 1 ^&#8212;models-preset start-all.ini \u041f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0437\u0430\u043f\u0443\u0441\u043a\u0430no-mmap = true &#8212; \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 RAM. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 VRAM.metrics = true &#8212; \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \/metrics \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442\u0435. (\u041f\u0440\u0438\u043c\u0435\u0440: http:\/\/127.0.0.1:9999\/metrics?model=Qwen3.5-27B-UD-Q4_K_XL-thinking)cache-ram = 0 &#8212; \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u043a\u0435\u0448 \u0434\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u0412 \u043d\u0451\u043c \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438.sleep-idle-seconds = 1200 &#8212; \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 VRAM \u0447\u0435\u0440\u0435\u0437 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0435\u043a\u0443\u043d\u0434.n-gpu-layers = all &#8212; \u043a\u0430\u043a\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0441\u043b\u043e\u0451\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432 VRAM.ctx-size = 65536 &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438.load-on-startup = false &#8212; \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u0441\u0442\u0430\u0440\u0442\u0435.parallel = 4 &#8212; \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043e\u0434\u043d\u043e\u0432\u0435\u0440\u043c\u0435\u043d\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438\u0437 ctx-size \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u044d\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e (65536 \/ 4 = 16384).chat-template-kwargs = {\u201cenable_thinking\u201d:false} &#8212; \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0443 \u043c\u043e\u0434\u0435\u043b\u0438.\u2013models-max 1 &#8212; \u043e\u0434\u043d\u043e\u0432\u0435\u0440\u043c\u0435\u043d\u043d\u043e \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0441\u044e VRAM. \u0415\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u0430 \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c. \u0412 \u0438\u0434\u0435\u0430\u043b\u0435 \u043d\u0443\u0436\u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u043e\u0434\u043d\u0430 \u043a\u0440\u0443\u043f\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u043b\u043a\u0438\u0445. \u041d\u043e \u043f\u043e\u043a\u0430 \u0442\u0430\u043a\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043d\u0435\u0442. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0431\u0443\u0434\u0435\u0442 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c. \u041d\u043e\u0432\u044b\u0435 \u0444\u0438\u0447\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e. \u0421\u043b\u0435\u0434\u0438\u0442\u0435 \u0437\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438.\u041f\u0440\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0437\u0434\u0435\u0441\u044c.\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c start-all.bat \u0438 \u0432\u0438\u0434\u0438\u043c \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435: \u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c http:\/\/127.0.0.1:9999\/ \u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f llama.cpp. \u041f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0436\u0434\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u043a\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0415\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0447\u0430\u0442\u0430, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0437\u0434\u0435\u0441\u044c.\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a Open WebUI\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c Open WebUI \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435, \u0442\u043e \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f wsl \u0438 Docker Desktop.\u0427\u0442\u043e\u0431\u044b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c wsl \u043d\u0430\u0434\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u043d\u0430\u0434\u0443 \u201cwsl install\u201d. \u041e\u0434\u043d\u0430\u043a\u043e, \u043a\u043e\u0433\u0434\u0430 \u044f \u0443\u0434\u0430\u043b\u0438\u043b wsl \u201cwsl &#8212;uninstall\u201d, \u0442\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u201cwsl &#8212;update\u201d.\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043b\u043e\u0433\u0438\u043d \u0438 \u043f\u0430\u0440\u043e\u043b\u044c \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0415\u0441\u043b\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u044d\u0442\u0443 \u0441\u0442\u0430\u0442\u044c\u044e.\u0422\u0435\u043f\u0435\u0440\u044c \u043a\u0430\u0447\u0430\u0435\u043c, \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c Docker Desktop \u043e\u0442\u0441\u044e\u0434\u0430. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043c\u043d\u044e \u0442\u0430\u043c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0431\u044b\u0442\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e.\u0412\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u043e \u0442\u0430\u043a: \u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0451\u043c docker-compose.yml. \u0421\u043e\u0437\u0434\u0430\u043b \u0435\u0433\u043e \u0432 G:\\openwebui.services:  open-webui:    image: ghcr.io\/open-webui\/open-webui:v0.8.6    container_name: open-webui    restart: unless-stopped    ports:      &#8212; &#171;3000:8080&#187;    volumes:      &#8212; G:\/openwebui\/volume:\/app\/backend\/data    environment:      &#8212; RAG_SYSTEM_CONTEXT=True      &#8212; ENABLE_QUERIES_CACHE=True        &#8212; ENABLE_REALTIME_CHAT_SAVE=False    networks:      &#8212; webui-net    tika:    image: apache\/tika:latest-full    container_name: tika    restart: unless-stopped    ports:      &#8212; 9998:9998    networks:      &#8212; webui-netnetworks:  webui-net:    driver: bridge\u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 \u0432 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 docker-compose.yaml, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u201cdocker compose up -d\u201d, \u0436\u0434\u0451\u043c \u043f\u043e\u043a\u0430 \u0441\u043a\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0437\u044b \u0438 \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b:\u041d\u0430 \u0441\u043a\u0440\u0438\u043d\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0442, \u0442.\u043a. \u043e\u0431\u0440\u0430\u0437\u044b \u0431\u044b\u043b\u0438 \u0441\u043a\u0430\u0447\u0430\u043d\u044b \u0440\u0430\u043d\u0435\u0435.\u0412 Docker Desktop \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435: \u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c http:\/\/localhost:3000\/ \u041f\u043e\u043f\u0440\u043e\u0441\u0438\u0442 \u043f\u043e\u0447\u0442\u0443 \u0438 \u043f\u0430\u0440\u043e\u043b\u044c \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0430\u0434\u043c\u0438\u043d\u0430.\u0421\u0432\u0435\u0440\u0445\u0443 \u0441\u043f\u0440\u0430\u0432\u0430 \u0436\u043c\u0451\u043c \u043d\u0430 \u0438\u043a\u043e\u043d\u043a\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0412 \u0432\u044b\u043f\u0430\u0432\u0448\u0435\u043c \u043c\u0435\u043d\u044e \u0432\u044b\u0431\u0435\u0440\u0430\u0435\u043c \u201c\u041f\u0430\u043d\u0435\u043b\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\u201d: \u0422\u0430\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u201c\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u201d &#8212; \u201c\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u201d \u0438 \u043d\u0430\u0436\u043c\u0438\u0442\u0435 \u043d\u0430  \u201c+\u201d \u0412 \u043f\u043e\u044f\u0432\u0438\u0432\u0448\u0435\u043c\u0441\u044f \u043e\u043a\u043d\u0435 \u0432 \u043f\u043e\u043b\u0435 \u201cURL\u201d \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u201chttp:\/\/host.docker.internal:9999\/v1\u201d, \u0436\u043c\u0451\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d.\u0414\u0430\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u201c\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u201d \u0438 \u0442\u0430\u043c \u0432 \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u201d \u0438 \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u201d \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u201cQwen3.5-2B-BF16\u201d\u0418 \u0432 \u043d\u0438\u0436\u043d\u0435\u043c \u043f\u0440\u0430\u0432\u043e\u043c \u0443\u0433\u043b\u0443 \u0436\u043c\u0451\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d.\u0422\u0435\u043f\u0435\u0440\u044c \u0436\u043c\u0451\u043c \u0441\u043b\u0435\u0432\u0430 \u0441\u0432\u0435\u0440\u0445\u0443 \u201c\u041d\u043e\u0432\u044b\u0439 \u0447\u0430\u0442\u201d &#8212; \u201cArena model\u201d. \u0422\u0430\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041b\u044e\u0431\u0430\u044f \u0447\u0442\u043e-\u0442\u043e \u0434\u0430 \u043e\u0442\u0432\u0435\u0442\u0438\u0442. \u041d\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u201cQwen3.5-27B-UD-Q4_K_XL-instruct\u201d \u0434\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0431\u0435\u0437 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439. \u0418 \u201cQwen3.5-27B-UD-Q4_K_XL-thinking\u201d \u0434\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f\u043c\u0438.\u0412\u0432\u043e\u0434\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441, \u0436\u0434\u0451\u043c \u043f\u043e\u043a\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0423 \u043c\u0435\u043d\u044f \u044d\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u043e \u043c\u0438\u043d\u0443\u0442\u044b. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0442\u0432\u0435\u0442: \u041c\u041e\u0416\u0415\u0422 \u0411\u042b\u0422\u042c \u041f\u0420\u041e\u0411\u041b\u0415\u041c\u0410\u0415\u0441\u043b\u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0430 \u0441 \u0447\u0430\u0442\u043e\u043c, \u0442\u043e 3D \u0440\u0430\u0437\u0434\u0435\u043b \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 100% \u0438 CUDA \u0440\u0430\u0437\u0434\u0435\u043b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f. \u0412 \u0438\u0442\u043e\u0433\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0434\u043e\u0436\u0434\u0430\u0442\u044c\u0441\u044f.\u0412 \u043c\u043e\u043c\u0435\u043d\u0442 1 \u0438 3 \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0430 \u0441 \u0447\u0430\u0442\u043e\u043c. \u0412 \u043c\u043e\u043c\u0435\u043d\u0442 2 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u043b\u0441\u044f \u043d\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0443 \u0431\u0435\u0437 \u0430\u043d\u0438\u043c\u0430\u0446\u0438\u0439 \u0438\u043b\u0438 \u0441\u0432\u0435\u0440\u043d\u0443\u043b \u0431\u0440\u0430\u0443\u0437\u0435\u0440. \u0423 \u043c\u0435\u043d\u044f Firefox. \u0412 Edge \u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0415\u0441\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 llama.cpp (http:\/\/127.0.0.1:9999\/), \u0442\u043e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0430\u044f \u0436\u0435.\u0421 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0435\u0442.\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u043b\u044f \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0440\u0438 \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f RAG, \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0442\u043e\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043b\u0430\u0447\u0435\u0432\u043d\u043e\u0435.\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u0432 \u201c\u041f\u0430\u043d\u0435\u043b\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\u201d &#8212; \u201c\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u201d &#8212; \u201cDocuments\u201d. \u0412 \u201c\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430\u201d \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c Tika \u0438 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c URL \u201chttp:\/\/host.docker.internal:9998\u201d \u0412 \u201c\u0414\u0432\u0438\u0436\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043d\u0438\u044f\u201d URL \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u201chttp:\/\/host.docker.internal:9999\/v1\u201d \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u201cQwen3-Embedding-4B-f16\u201d \u0412 \u201c\u0414\u0432\u0438\u0436\u043e\u043a \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u201d \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u201c\u0412\u043d\u0435\u0448\u043d\u0435\u0435\u201d \u0438 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c URL \u201chttp:\/\/host.docker.internal:9999\/v1\/rerank\u201d \u0438 \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u201d &#8212; \u201cQwen3-Reranker-4B-f16\u201d \u041d\u0430\u0436\u0438\u043c\u0430\u0435\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d \u0432\u043d\u0438\u0437\u0443 \u0441\u043f\u0440\u0430\u0432\u0430.\u0418 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0412\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430. \u042f \u0432\u044b\u0431\u0440\u0430\u043b Brave &#8212; \u0434\u0430\u0451\u0442 $5 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u0435\u0441\u044f\u0446, \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0443. \u0422\u0430\u043a \u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043b\u0438\u043c\u0438\u0442, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435.\u041d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u043c \u201c\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u201d \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438.\u041f\u0440\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u201c\u0412\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430\u201d: \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: \u041f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043e\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (Qwen3.5-2B-BF16) \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0447\u0430\u0442\u0430. \u041d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u0442.\u043a. \u044d\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0447\u0430\u0442\u0430 \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f. \u0423 \u043c\u0435\u043d\u044f \u0442\u0430\u043a \u0431\u044b\u043b\u043e, \u043a\u043e\u0433\u0434\u0430 \u0432 \u201c\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u201d &#8212; \u201c\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u201d &#8212; \u201c\u041c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u201d \u0431\u044b\u043b\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u201c\u0422\u0435\u043a\u0443\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u201d. \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u0443\u0434\u0443\u0442 \u0442\u0430\u043a \u0436\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c\u0441\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438 \u0440\u0435\u0440\u0430\u043d\u0433\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438. \u041a\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u044e\u0442\u0441\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043e\u043c\u0442\u0440\u0435\u0442\u044c \u0432 \u043b\u043e\u0433\u0435 llama-server.\u0427\u0442\u043e \u0435\u0449\u0451?\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f Open WebUI &#8212; \u0442\u0430\u043c \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439.\u0421\u0442\u0430\u0442\u044c\u044f \u043a\u0430\u043a \u0437\u0430\u043f\u0443\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u0442 \u0432 VRAM \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c GPT-OSS-120B \u043d\u0430 6 \u0413\u0431 GPU \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0434\u043e 30 t\/s.\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430 unsloth.ai Qwen3.5 &#8212; How to Run Locally. \u0422\u0430\u043a \u0436\u0435 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438, \u043a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0434\u0443\u0440\u0433\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.\u0412\u043c\u0435\u0441\u0442\u043e Tika \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Docling \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432. \u0421\u0430\u043c \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b.\u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432 (\u0441\u0430\u043c \u0438\u0445 \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b), \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u043c\u0435\u0441\u044f\u0446: exa.aitavilyserperlinkupvalyu\u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432 Docker &#8212; SearXNG. \u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b, \u0447\u0430\u0441\u0442\u043e \u0434\u0432\u0438\u0436\u043a\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432 \u0431\u0430\u043d\u0438\u043b\u0438 \u043d\u0430 \u0432\u0440\u0435\u043c\u044f. \u0422\u0430\u043a \u0436\u0435 \u0435\u0441\u0442\u044c \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u044b. docker-compose \u0434\u043b\u044f SearXNG  searxng:    image: ghcr.io\/searxng\/searxng:latest    container_name: searxng    ports:      &#8212; &#171;8888:8080&#187;    volumes:      &#8212; G:\/searxng\/volume\/config:\/etc\/searxng      &#8212; G:\/searxng\/volume\/data:\/var\/cache\/searxng    networks:      &#8212; webui-net\u0414\u043b\u044f \u201c\u0412\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u0430\u201d \u201c\u0414\u0432\u0438\u0436\u043e\u043a \u0432\u0435\u0431-\u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430\u201d \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b playwright \u0432 Docker. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043e\u043b\u0433\u043e, \u0432 \u043c\u0438\u043d\u0443\u0442\u0430\u0445. \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u043b\u044f playwright&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-477309","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/477309","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=477309"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/477309\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=477309"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=477309"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=477309"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}