{"id":500300,"date":"2026-10-26T13:42:58","date_gmt":"2026-10-26T10:42:58","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=500300"},"modified":"2026-10-26T13:42:58","modified_gmt":"2026-10-26T10:42:58","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=500300","title":{"rendered":"\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430. \u0427\u0430\u0441\u0442\u044c 1"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430<\/h2>\n<h3>\u0427\u0430\u0441\u0442\u044c 1. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043e\u0431\u0449\u0438\u0439 \u043f\u043b\u0430\u043d \u0440\u0430\u0431\u043e\u0442<\/h3>\n<h4>\u0427\u0442\u043e \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c<\/h4>\n<p>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0435\u043a \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (LLM) \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439:<\/p>\n<ul>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0444\u043b\u0430\u0439\u043d<\/strong> \u2014 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u043e\u0431\u043b\u0430\u043a\u0430, \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e CPU<\/strong> \u2014 \u0431\u0435\u0437 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442, \u0431\u0435\u0437 CUDA, \u0431\u0435\u0437 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u0432. \u0412\u0441\u0451 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435, \u0441 <code>mmap<\/code> \u0434\u043b\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 RAM.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 Debian 12 x86_64<\/strong> (\u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430), \u043d\u043e \u043d\u0435 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0436\u0435\u043b\u0435\u0437\u0443 \u2014 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0441 \u0442\u0435\u043c \u0436\u0435 \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432\u043e\u043c \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0451\u0442\u0441\u044f \u0438\u0437 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u043f\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0438\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0442\u0438<\/strong> \u2014 \u0441 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0435 \u0438\u043b\u0438 \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u0432 \u043e\u0444\u0438\u0441\u0435 \u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u043e \u0431\u0435\u0437 \u043f\u0440\u0430\u0432\u043a\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u043e\u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f<\/strong> \u2014 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u0430\u043a\u0435\u0442\u044b \u043b\u0435\u0436\u0430\u0442 \u0432 \u043f\u0430\u043f\u043a\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0430, \u0430 \u043d\u0435 \u0440\u0430\u0437\u043c\u0430\u0437\u0430\u043d\u044b \u043f\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0435.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0418\u0437 \u0447\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0441\u0442\u0435\u043a<\/h4>\n<p>\u0422\u0440\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u043f\u043e\u0440\u0442\u043e\u043c \u0438 \u0441\u0432\u043e\u0435\u0439 \u0440\u043e\u043b\u044c\u044e:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0440\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0414\u043e\u0441\u0442\u0443\u043f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>llama.cpp<\/strong> (<code>llama-server<\/code>)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441 LLM: \u0447\u0430\u0442, \u0441\u0430\u043c\u043c\u0430\u0440\u0438, \u043f\u0435\u0440\u0435\u0432\u043e\u0434, \u043a\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>10000<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e\u043b\u044c\u043a\u043e <code>127.0.0.1<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Open WebUI<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0441 \u043b\u043e\u0433\u0438\u043d\u043e\u043c, \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439 \u0447\u0430\u0442\u043e\u0432, \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>8080<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>0.0.0.0<\/code> (LAN)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>stable-diffusion.cpp<\/strong> (<code>sd-server<\/code>)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>8888<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>0.0.0.0<\/code> (LAN)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a:<\/strong><\/p>\n<ul>\n<li>\n<p><code>llama-server<\/code> \u0441\u043b\u0443\u0448\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e <a href=\"http:\/\/localhost\" rel=\"noopener nofollow\">localhost<\/a> \u2014 \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043a \u043d\u0435\u043c\u0443 \u043d\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u042d\u0442\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c: \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u0432 LAN \u0443\u0437\u043d\u0430\u0435\u0442 \u043f\u043e\u0440\u0442 <code>10000<\/code>, \u043e\u043d \u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u0447\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>Open WebUI \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u00ab\u0434\u0432\u0435\u0440\u044c\u00bb \u0441 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439. \u041e\u043d \u0445\u043e\u0434\u0438\u0442 \u043a <code>llama-server<\/code> \u043f\u043e <code>127.0.0.1:10000<\/code>, \u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0445\u043e\u0434\u044f\u0442 \u043a \u043d\u0435\u043c\u0443 \u043f\u043e <code>LAN_IP:8080<\/code>.<\/p>\n<\/li>\n<li>\n<p><code>sd-server<\/code> \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u0447\u0430\u0442\u043e\u043c. \u0423 \u043d\u0435\u0433\u043e \u0441\u0432\u043e\u0439 UI \u0438 \u0441\u0432\u043e\u0439 \u043f\u043e\u0440\u0442. \u0415\u0441\u043b\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u2014 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0427\u0442\u043e \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f<\/h4>\n<p><strong>\u0416\u0435\u043b\u0435\u0437\u043e:<\/strong><\/p>\n<ul>\n<li>\n<p>CPU (\u043b\u044e\u0431\u043e\u0439 x86_64, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u044f\u0434\u0435\u0440 \u2014 \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435; 4+ \u044f\u0434\u0440\u0430 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e).<\/p>\n<\/li>\n<li>\n<p>RAM: \u043c\u0438\u043d\u0438\u043c\u0443\u043c <strong>8 \u0413\u0411<\/strong> \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043e 10B (\u0441 <code>mmap<\/code> \u0438 \u043b\u0438\u043c\u0438\u0442\u043e\u043c), <strong>16+ \u0413\u0411<\/strong> \u2014 \u0435\u0441\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 20B+ \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u0441\u043a: <strong>60\u201380 \u0413\u0411<\/strong> \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 (\u043c\u043e\u0434\u0435\u043b\u0438 + <code>venv<\/code> + <code>offline_packages<\/code>). SSD\/NVMe \u043d\u0430\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438, \u043d\u043e \u0438 \u043d\u0430 HDD \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e).<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0442\u044c: \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438 \u043d\u0443\u0436\u0435\u043d \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442, \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u2014 \u043d\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0421\u043e\u0444\u0442:<\/strong><\/p>\n<ul>\n<li>\n<p>Debian 12 (bookworm) x86_64.<\/p>\n<\/li>\n<li>\n<p>Python 3.11 (\u0438\u0434\u0451\u0442 \u0432 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0435).<\/p>\n<\/li>\n<li>\n<p><code>git<\/code>, <code>cmake<\/code>, <code>build-essential<\/code>, <code>python3-venv<\/code>, <code>python3-pip<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u0418\u043d\u0442\u0435\u0440\u043d\u0435\u0442 <strong>\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0441\u0431\u043e\u0440\u043a\u0438<\/strong> \u2014 \u043f\u043e\u0442\u043e\u043c \u0432\u0441\u0451 \u043e\u0444\u043b\u0430\u0439\u043d.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e\u0431\u0449\u0438\u0439 \u043f\u043b\u0430\u043d \u0440\u0430\u0431\u043e\u0442<\/h4>\n<p>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u043e \u043d\u0430 \u043f\u044f\u0442\u044c \u0448\u0430\u0433\u043e\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u2014 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0438\u0434\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<p><strong>\u0428\u0430\u0433 1. \u0417\u0430\u043f\u0443\u0441\u043a <\/strong><code><strong>llama.cpp<\/strong><\/code><strong> \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong><\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c <code>llama.cpp<\/code> \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u0432 (\u043e\u0434\u0438\u043d \u0440\u0430\u0437).<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u0447\u0430\u0435\u043c \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (<code>Qwen3.5-2B-Q4_K_M<\/code>).<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c <code>llama-server<\/code> \u0441 <code>mmap<\/code> \u0438 \u043b\u0438\u043c\u0438\u0442\u043e\u043c \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c, \u0447\u0442\u043e \u0447\u0430\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0444\u043b\u0430\u0433\u0438 (<code>--load-mode<\/code>, <code>--no-repack<\/code>, <code>--cache-type-k\/v<\/code>, <code>--reasoning<\/code>).<\/p>\n<\/li>\n<li>\n<p>\u0423\u0447\u0438\u043c\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438: \u043e\u0431\u044b\u0447\u043d\u044b\u0435 <code>.gguf<\/code> \u2014 \u0432 \u043a\u043e\u0440\u0435\u043d\u044c <code>models\/<\/code>, \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 (\u0441 <code>mmproj<\/code>) \u2014 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0428\u0430\u0433 2. \u041d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.<\/strong><\/p>\n<ul>\n<li>\n<p>\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0447\u0430\u0442, \u043a\u043e\u0434\u0438\u043d\u0433, \u0440\u043e\u043b\u0435\u0432\u043e\u0435 \u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a, vision (OCR).<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u043f\u043e \u043f\u0430\u043f\u043a\u0430\u043c \u0441 \u0443\u0447\u0451\u0442\u043e\u043c <code>mmproj<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0435\u043b\u0430\u0435\u043c HTML-\u0448\u043f\u0430\u0440\u0433\u0430\u043b\u043a\u0443 <code>web\/models.html<\/code> \u2014 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0438\u0445 \u0441\u0438\u043b\u044c\u043d\u044b\u0445\/\u0441\u043b\u0430\u0431\u044b\u0445 \u0441\u0442\u043e\u0440\u043e\u043d \u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u00ab\u043a\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u00bb. \u041e\u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u0431\u0435\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0428\u0430\u0433 3. \u0417\u0430\u043f\u0443\u0441\u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 (<\/strong><code><strong>stable-diffusion.cpp<\/strong><\/code><strong>).<\/strong><\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c <code>stable-diffusion.cpp<\/code> \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0434\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0443\u0436\u0435\u043d <strong>\u043d\u0435 \u043e\u0434\u0438\u043d \u0444\u0430\u0439\u043b<\/strong>, \u0430 \u0442\u0440\u0438: \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (<code>.gguf<\/code> \u0438\u043b\u0438 <code>.safetensors<\/code>), <strong>VAE<\/strong> (\u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0432 \u043f\u0438\u043a\u0441\u0435\u043b\u0438) \u0438 <strong>\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440<\/strong> (LLM, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u0440\u043e\u043c\u043f\u0442).<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u043f\u043e \u043f\u0430\u043f\u043a\u0430\u043c: \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0432 <code>models\/media\/<\/code>, VAE \u2014 \u0432 <code>models\/media\/vae\/&lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;\/<\/code>, LLM \u2014 \u0432 <code>models\/<\/code> (\u043e\u0431\u0449\u0438\u0435 \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u0441\u0442\u0435\u043a\u043e\u043c).<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c <code>sd-server<\/code> \u043d\u0430 \u043f\u043e\u0440\u0442\u0443 <code>8888<\/code> \u0441 \u0432\u0435\u0431-UI (<code>web\/index.html<\/code>).<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0428\u0430\u0433 4. \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Open WebUI \u043f\u043e\u0432\u0435\u0440\u0445 <\/strong><code><strong>llama.cpp<\/strong><\/code><strong>.<\/strong><\/p>\n<ul>\n<li>\n<p>\u0421\u0442\u0430\u0432\u0438\u043c Open WebUI \u0432 \u0442\u043e\u0442 \u0436\u0435 <code>venv<\/code>, \u0447\u0442\u043e \u0438 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 (\u043e\u0431\u0449\u0430\u044f \u043f\u0430\u043f\u043a\u0430).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437 <code>start_webui.py<\/code>: \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c Ollama, \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u044e, \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a (DuckDuckGo, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0441\u0435\u0442\u044c), \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a <code>llama-server<\/code> \u0447\u0435\u0440\u0435\u0437 <code>127.0.0.1:10000<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u043a\u0440\u0435\u0442\u044b (API-\u043a\u043b\u044e\u0447 llama \u0438 \u0441\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u043b\u044e\u0447 WebUI) \u0445\u0440\u0430\u043d\u0438\u043c \u0432 <code>.secrets<\/code> (chmod 600), \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0447\u0435\u0440\u0435\u0437 <code>init_<\/code><a href=\"http:\/\/secrets.sh\" rel=\"noopener nofollow\"><code>secrets.sh<\/code><\/a>.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 <code>run_<\/code><a href=\"http:\/\/webui.sh\" rel=\"noopener nofollow\"><code>webui.sh<\/code><\/a>: \u043e\u043d \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 <code>llama-server<\/code> \u0432 \u0444\u043e\u043d\u0435, \u0436\u0434\u0451\u0442 \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u0442\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 WebUI, \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u0430 \u043f\u043e Ctrl+C.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c, \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0432\u0448\u0438\u0439\u0441\u044f \u0432 WebUI, \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0430\u0434\u043c\u0438\u043d\u043e\u043c; \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0428\u0430\u0433 5. \u041e\u0444\u043b\u0430\u0439\u043d-\u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441.<\/strong><\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c <code>offline_packages\/<\/code> \u2014 \u0432\u0441\u0435 Python-wheels, \u043d\u0443\u0436\u043d\u044b\u0435 \u0434\u043b\u044f <code>venv<\/code> (\u0432\u043a\u043b\u044e\u0447\u0430\u044f CPU-\u0432\u0435\u0440\u0441\u0438\u044e PyTorch).<\/p>\n<\/li>\n<li>\n<p>\u0424\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0432\u0435\u0440\u0441\u0438\u0438 \u0432 <code>requirements.lock<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0438\u0448\u0435\u043c <code>README.md<\/code> \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0435\u0439 \u00ab\u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0441 \u043d\u0443\u043b\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435\u00bb.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e: \u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0430 \u0432 LXC (\u043e\u0431\u0441\u0443\u0434\u0438\u043b\u0438, \u043d\u043e \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u2014 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u043d\u0438 \u0440\u0430\u0434\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e <code>venv<\/code> \u0438 \u0442\u0430\u043a \u0440\u0435\u0448\u0430\u0435\u0442).<\/p>\n<\/li>\n<\/ul>\n<h4>\u0427\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f<\/h4>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u0448\u0430\u0433\u043e\u0432 \u0443 \u0432\u0430\u0441 \u0431\u0443\u0434\u0435\u0442:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0447\u0430\u0442 \u0441 LLM \u043d\u0430 <code>http:\/\/&lt;LAN_IP&gt;:8080<\/code> \u2014 \u0441 \u043b\u043e\u0433\u0438\u043d\u043e\u043c, \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0420\u043e\u0434\u043d\u043e\u0439 UI <code>llama.cpp<\/code> \u043d\u0430 <a href=\"http:\/\/127.0.0.1:8080\" rel=\"noopener nofollow\"><code>http:\/\/127.0.0.1:8080<\/code><\/a> (\u0435\u0441\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c <code>run_llama_<\/code><a href=\"http:\/\/mmap.sh\" rel=\"noopener nofollow\"><code>mmap.sh<\/code><\/a> \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e) \u2014 \u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043d\u0430 <code>http:\/\/&lt;LAN_IP&gt;:8888<\/code> \u2014 \u0441 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0438 \u0448\u0430\u0433\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0428\u043f\u0430\u0440\u0433\u0430\u043b\u043a\u0430 <code>web\/models.html<\/code> \u2014 \u043a\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u043f\u043a\u0430 <code>offline_packages\/<\/code> \u2014 \u0434\u043b\u044f \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043a\u0430\u043a \u044d\u0442\u043e \u0432\u0441\u0451 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043e, \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043c\u0435\u043d\u044f\u0442\u044c \u043b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0440\u0435\u0436\u0438\u043c\u044b (router \/ single, reasoning on\/off).<\/p>\n<\/li>\n<\/ul>\n<h4>\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430<\/h4>\n<ol>\n<li>\n<p><strong>\u0412\u0441\u0451 \u043d\u0430 CPU \u2014 \u044d\u0442\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e.<\/strong> 3\u201315 \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, 5\u201310 \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443.  <code>mmap<\/code> \u0438 \u043b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u043b\u0430\u044e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u043c, \u043d\u043e \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u043c.<\/p>\n<\/li>\n<li>\n<p><code><strong>mmap<\/strong><\/code><strong> \u2014 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f.<\/strong> \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0432 RAM \u0446\u0435\u043b\u0438\u043a\u043e\u043c; \u044f\u0434\u0440\u043e \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e \u0438 \u0432\u044b\u0442\u0435\u0441\u043d\u044f\u0435\u0442 \u043d\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c 20-\u0433\u0438\u0433\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 10 \u0413\u0411 RAM \u2014 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>Open WebUI \u2014 \u044d\u0442\u043e \u00ab\u043f\u043e\u0432\u0435\u0440\u0445\u00bb <\/strong><code><strong>llama.cpp<\/strong><\/code><strong>, \u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0430.<\/strong> \u0420\u043e\u0434\u043d\u043e\u0439 UI <code>llama.cpp<\/code> \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d (\u043d\u0430 <a href=\"http:\/\/localhost\" rel=\"noopener nofollow\">localhost<\/a>), \u0430 WebUI \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0444\u043b\u0430\u0439\u043d \u2014 \u044d\u0442\u043e \u043d\u0435 \u00ab\u043d\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430 \u0432\u043e\u043e\u0431\u0449\u0435\u00bb.<\/strong> \u041d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u043d\u0443\u0436\u0435\u043d (\u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438, \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0430\u043a\u0435\u0442\u044b). \u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 \u2014 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d. <code>offline_packages\/<\/code> \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430 \u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u0443 \u0431\u0435\u0437 \u0441\u0435\u0442\u0438.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1099472\/\">https:\/\/habr.com\/ru\/articles\/1099472\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e AI-\u0441\u0442\u0435\u043a\u0430\u0427\u0430\u0441\u0442\u044c 1. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043e\u0431\u0449\u0438\u0439 \u043f\u043b\u0430\u043d \u0440\u0430\u0431\u043e\u0442\u0427\u0442\u043e \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0435\u043a \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (LLM) \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439:\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0444\u043b\u0430\u0439\u043d \u2014 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u043e\u0431\u043b\u0430\u043a\u0430, \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b.\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e CPU \u2014 \u0431\u0435\u0437 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442, \u0431\u0435\u0437 CUDA, \u0431\u0435\u0437 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u0432. \u0412\u0441\u0451 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435, \u0441 mmap \u0434\u043b\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 RAM.\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 Debian 12 x86_64 (\u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430), \u043d\u043e \u043d\u0435 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0436\u0435\u043b\u0435\u0437\u0443 \u2014 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0441 \u0442\u0435\u043c \u0436\u0435 \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432\u043e\u043c \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0451\u0442\u0441\u044f \u0438\u0437 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u043f\u043a\u0438.\u0414\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0438\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u2014 \u0441 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0435 \u0438\u043b\u0438 \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u0432 \u043e\u0444\u0438\u0441\u0435 \u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u043e \u0431\u0435\u0437 \u043f\u0440\u0430\u0432\u043a\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u043e\u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437.\u041f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u2014 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u0430\u043a\u0435\u0442\u044b \u043b\u0435\u0436\u0430\u0442 \u0432 \u043f\u0430\u043f\u043a\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0430, \u0430 \u043d\u0435 \u0440\u0430\u0437\u043c\u0430\u0437\u0430\u043d\u044b \u043f\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0435.\u0418\u0437 \u0447\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0441\u0442\u0435\u043a\u0422\u0440\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u043f\u043e\u0440\u0442\u043e\u043c \u0438 \u0441\u0432\u043e\u0435\u0439 \u0440\u043e\u043b\u044c\u044e:\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u041f\u043e\u0440\u0442\u0414\u043e\u0441\u0442\u0443\u043fllama.cpp (llama-server)\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441 LLM: \u0447\u0430\u0442, \u0441\u0430\u043c\u043c\u0430\u0440\u0438, \u043f\u0435\u0440\u0435\u0432\u043e\u0434, \u043a\u043e\u043410000\u0442\u043e\u043b\u044c\u043a\u043e 127.0.0.1Open WebUI\u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0441 \u043b\u043e\u0433\u0438\u043d\u043e\u043c, \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439 \u0447\u0430\u0442\u043e\u0432, \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u043980800.0.0.0 (LAN)stable-diffusion.cpp (sd-server)\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u043988880.0.0.0 (LAN)\u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a:llama-server \u0441\u043b\u0443\u0448\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e localhost \u2014 \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043a \u043d\u0435\u043c\u0443 \u043d\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u042d\u0442\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c: \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u0432 LAN \u0443\u0437\u043d\u0430\u0435\u0442 \u043f\u043e\u0440\u0442 10000, \u043e\u043d \u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u0447\u0438\u0442\u0441\u044f.Open WebUI \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u00ab\u0434\u0432\u0435\u0440\u044c\u00bb \u0441 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439. \u041e\u043d \u0445\u043e\u0434\u0438\u0442 \u043a llama-server \u043f\u043e 127.0.0.1:10000, \u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0445\u043e\u0434\u044f\u0442 \u043a \u043d\u0435\u043c\u0443 \u043f\u043e LAN_IP:8080.sd-server \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u0447\u0430\u0442\u043e\u043c. \u0423 \u043d\u0435\u0433\u043e \u0441\u0432\u043e\u0439 UI \u0438 \u0441\u0432\u043e\u0439 \u043f\u043e\u0440\u0442. \u0415\u0441\u043b\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u2014 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c.\u0427\u0442\u043e \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f\u0416\u0435\u043b\u0435\u0437\u043e:CPU (\u043b\u044e\u0431\u043e\u0439 x86_64, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u044f\u0434\u0435\u0440 \u2014 \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435; 4+ \u044f\u0434\u0440\u0430 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e).RAM: \u043c\u0438\u043d\u0438\u043c\u0443\u043c 8 \u0413\u0411 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043e 10B (\u0441 mmap \u0438 \u043b\u0438\u043c\u0438\u0442\u043e\u043c), 16+ \u0413\u0411 \u2014 \u0435\u0441\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 20B+ \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e.\u0414\u0438\u0441\u043a: 60\u201380 \u0413\u0411 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 (\u043c\u043e\u0434\u0435\u043b\u0438 + venv + offline_packages). SSD\/NVMe \u043d\u0430\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438, \u043d\u043e \u0438 \u043d\u0430 HDD \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e).\u0421\u0435\u0442\u044c: \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438 \u043d\u0443\u0436\u0435\u043d \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442, \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u2014 \u043d\u0435\u0442.\u0421\u043e\u0444\u0442:Debian 12 (bookworm) x86_64.Python 3.11 (\u0438\u0434\u0451\u0442 \u0432 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0435).git, cmake, build-essential, python3-venv, python3-pip.\u0418\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 \u2014 \u043f\u043e\u0442\u043e\u043c \u0432\u0441\u0451 \u043e\u0444\u043b\u0430\u0439\u043d.\u041e\u0431\u0449\u0438\u0439 \u043f\u043b\u0430\u043d \u0440\u0430\u0431\u043e\u0442\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u043e \u043d\u0430 \u043f\u044f\u0442\u044c \u0448\u0430\u0433\u043e\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u2014 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0438\u0434\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435.\u0428\u0430\u0433 1. \u0417\u0430\u043f\u0443\u0441\u043a llama.cpp \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c llama.cpp \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u0432 (\u043e\u0434\u0438\u043d \u0440\u0430\u0437).\u041a\u0430\u0447\u0430\u0435\u043c \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (Qwen3.5-2B-Q4_K_M).\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c llama-server \u0441 mmap \u0438 \u043b\u0438\u043c\u0438\u0442\u043e\u043c \u043f\u0430\u043c\u044f\u0442\u0438.\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c, \u0447\u0442\u043e \u0447\u0430\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0444\u043b\u0430\u0433\u0438 (&#8212;load-mode, &#8212;no-repack, &#8212;cache-type-k\/v, &#8212;reasoning).\u0423\u0447\u0438\u043c\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438: \u043e\u0431\u044b\u0447\u043d\u044b\u0435 .gguf \u2014 \u0432 \u043a\u043e\u0440\u0435\u043d\u044c models\/, \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 (\u0441 mmproj) \u2014 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0438.\u0428\u0430\u0433 2. \u041d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0447\u0430\u0442, \u043a\u043e\u0434\u0438\u043d\u0433, \u0440\u043e\u043b\u0435\u0432\u043e\u0435 \u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a, vision (OCR).\u0420\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u043f\u043e \u043f\u0430\u043f\u043a\u0430\u043c \u0441 \u0443\u0447\u0451\u0442\u043e\u043c mmproj.\u0414\u0435\u043b\u0430\u0435\u043c HTML-\u0448\u043f\u0430\u0440\u0433\u0430\u043b\u043a\u0443 web\/models.html \u2014 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0438\u0445 \u0441\u0438\u043b\u044c\u043d\u044b\u0445\/\u0441\u043b\u0430\u0431\u044b\u0445 \u0441\u0442\u043e\u0440\u043e\u043d \u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u00ab\u043a\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u00bb. \u041e\u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u0431\u0435\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430.\u0428\u0430\u0433 3. \u0417\u0430\u043f\u0443\u0441\u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 (stable-diffusion.cpp).\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c stable-diffusion.cpp \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u0432.\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0434\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0443\u0436\u0435\u043d \u043d\u0435 \u043e\u0434\u0438\u043d \u0444\u0430\u0439\u043b, \u0430 \u0442\u0440\u0438: \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (.gguf \u0438\u043b\u0438 .safetensors), VAE (\u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0432 \u043f\u0438\u043a\u0441\u0435\u043b\u0438) \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440 (LLM, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u0440\u043e\u043c\u043f\u0442).\u0420\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u043f\u043e \u043f\u0430\u043f\u043a\u0430\u043c: \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0432 models\/media\/, VAE \u2014 \u0432 models\/media\/vae\/&lt;\u043c\u043e\u0434\u0435\u043b\u044c&gt;\/, LLM \u2014 \u0432 models\/ (\u043e\u0431\u0449\u0438\u0435 \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u0441\u0442\u0435\u043a\u043e\u043c).\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c sd-server \u043d\u0430 \u043f\u043e\u0440\u0442\u0443 8888 \u0441 \u0432\u0435\u0431-UI (web\/index.html).\u0428\u0430\u0433 4. \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Open WebUI \u043f\u043e\u0432\u0435\u0440\u0445 llama.cpp.\u0421\u0442\u0430\u0432\u0438\u043c Open WebUI \u0432 \u0442\u043e\u0442 \u0436\u0435 venv, \u0447\u0442\u043e \u0438 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 (\u043e\u0431\u0449\u0430\u044f \u043f\u0430\u043f\u043a\u0430).\u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437 start_webui.py: \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c Ollama, \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u044e, \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a (DuckDuckGo, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0441\u0435\u0442\u044c), \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a llama-server \u0447\u0435\u0440\u0435\u0437 127.0.0.1:10000.\u0421\u0435\u043a\u0440\u0435\u0442\u044b (API-\u043a\u043b\u044e\u0447 llama \u0438 \u0441\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u043b\u044e\u0447 WebUI) \u0445\u0440\u0430\u043d\u0438\u043c \u0432 .secrets (chmod 600), \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0447\u0435\u0440\u0435\u0437 init_secrets.sh.\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 run_webui.sh: \u043e\u043d \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 llama-server \u0432 \u0444\u043e\u043d\u0435, \u0436\u0434\u0451\u0442 \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u0442\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 WebUI, \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u0430 \u043f\u043e Ctrl+C.\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c, \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0432\u0448\u0438\u0439\u0441\u044f \u0432 WebUI, \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0430\u0434\u043c\u0438\u043d\u043e\u043c; \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f.\u0428\u0430\u0433 5. \u041e\u0444\u043b\u0430\u0439\u043d-\u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441.\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c offline_packages\/ \u2014 \u0432\u0441\u0435 Python-wheels, \u043d\u0443\u0436\u043d\u044b\u0435 \u0434\u043b\u044f venv (\u0432\u043a\u043b\u044e\u0447\u0430\u044f CPU-\u0432\u0435\u0440\u0441\u0438\u044e PyTorch).\u0424\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0432\u0435\u0440\u0441\u0438\u0438 \u0432 requirements.lock.\u041f\u0438\u0448\u0435\u043c README.md \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0435\u0439 \u00ab\u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0441 \u043d\u0443\u043b\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435\u00bb.\u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e: \u0443\u043f\u0430\u043a\u043e\u0432\u043a\u0430 \u0432 LXC (\u043e\u0431\u0441\u0443\u0434\u0438\u043b\u0438, \u043d\u043e \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u2014 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u043d\u0438 \u0440\u0430\u0434\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e venv \u0438 \u0442\u0430\u043a \u0440\u0435\u0448\u0430\u0435\u0442).\u0427\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u0448\u0430\u0433\u043e\u0432 \u0443 \u0432\u0430\u0441 \u0431\u0443\u0434\u0435\u0442:\u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0447\u0430\u0442 \u0441 LLM \u043d\u0430 http:\/\/&lt;LAN_IP&gt;:8080 \u2014 \u0441 \u043b\u043e\u0433\u0438\u043d\u043e\u043c, \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.\u0420\u043e\u0434\u043d\u043e\u0439 UI llama.cpp \u043d\u0430 http:\/\/127.0.0.1:8080 (\u0435\u0441\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c run_llama_mmap.sh \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e) \u2014 \u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f.\u0413\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043d\u0430 http:\/\/&lt;LAN_IP&gt;:8888 \u2014 \u0441 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0438 \u0448\u0430\u0433\u0430\u043c\u0438.\u0428\u043f\u0430\u0440\u0433\u0430\u043b\u043a\u0430 web\/models.html \u2014 \u043a\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.\u041f\u0430\u043f\u043a\u0430 offline_packages\/ \u2014 \u0434\u043b\u044f \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430.\u041f\u043e\u043b\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043a\u0430\u043a \u044d\u0442\u043e \u0432\u0441\u0451 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043e, \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043c\u0435\u043d\u044f\u0442\u044c \u043b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0440\u0435\u0436\u0438\u043c\u044b (router \/ single, reasoning on\/off).\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430\u0412\u0441\u0451 \u043d\u0430 CPU \u2014 \u044d\u0442\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e. 3\u201315 \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, 5\u201310 \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443.  mmap \u0438 \u043b\u0438\u043c\u0438\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u043b\u0430\u044e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u043c, \u043d\u043e \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u043c.mmap \u2014 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0432 RAM \u0446\u0435\u043b\u0438\u043a\u043e\u043c; \u044f\u0434\u0440\u043e \u043f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e \u0438 \u0432\u044b\u0442\u0435\u0441\u043d\u044f\u0435\u0442 \u043d\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c 20-\u0433\u0438\u0433\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 10 \u0413\u0411 RAM \u2014 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.Open WebUI \u2014 \u044d\u0442\u043e \u00ab\u043f\u043e\u0432\u0435\u0440\u0445\u00bb llama.cpp, \u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0430. \u0420\u043e\u0434\u043d\u043e\u0439 UI llama.cpp \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d (\u043d\u0430 localhost), \u0430 WebUI \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.\u041e\u0444\u043b\u0430\u0439\u043d \u2014 \u044d\u0442\u043e \u043d\u0435 \u00ab\u043d\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430 \u0432\u043e\u043e\u0431\u0449\u0435\u00bb. \u041d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u043d\u0443\u0436\u0435\u043d (\u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438, \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0430\u043a\u0435\u0442\u044b). \u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 \u2014 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d. offline_packages\/ \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430 \u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u0443 \u0431\u0435\u0437 \u0441\u0435\u0442\u0438.\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 https:\/\/habr.com\/ru\/articles\/1099472\/<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-500300","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500300","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=500300"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500300\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=500300"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=500300"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=500300"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}