{"id":361179,"date":"2024-05-21T01:08:15","date_gmt":"2024-05-21T01:08:15","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=361179"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=361179","title":{"rendered":"<span>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u0410\u043d\u0430\u043b\u043e\u0433 ChatGPT-3.5 \u043d\u0430 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c \u041f\u041a: OpenChat 7B \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0449\u0430\u044f 70B, DeepSeek \u0434\u043b\u044f \u043a\u043e\u0434\u0430 \u0443\u0440\u043e\u0432\u043d\u044f ChatGPT<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/903\/978\/d56\/903978d56b1603c02382baa115db5481.png\" alt=\"OpenChat 7B \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 text-generation-webui\" title=\"OpenChat 7B \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 text-generation-webui\" width=\"1141\" height=\"704\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/903\/978\/d56\/903978d56b1603c02382baa115db5481.png\"\/><\/p>\n<div><figcaption>OpenChat 7B \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 text-generation-webui<\/figcaption><\/div>\n<\/figure>\n<p>\u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432 ChatGPT, \u043d\u043e \u0438\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0434\u0430\u0436\u0435 65B \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u043e\u0442\u044f \u0431\u044b \u0441 ChatGPT-3.5. \u0418 \u0437\u0434\u0435\u0441\u044c \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e 2 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u044e.<\/p>\n<p>\u0420\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0435\u0442 \u043e OpenChat 7B \u0438 DeepSeek Coder. \u041e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0431\u044b\u0441\u0442\u0440\u044b, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0430 CPU, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c \u043d\u0430 GPU (\u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u043d\u0430 GPU, \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u0432\u0430\u0442\u0438\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438) \u0438 \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441.<\/p>\n<p>\u0418 \u0431\u043e\u043d\u0443\u0441\u043e\u043c \u0437\u0430\u0442\u0440\u043e\u043d\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0433\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0444\u043e\u0442\u043e.<\/p>\n<p>UPD: \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u0430 Windows \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043d\u0430 AMD.<\/p>\n<h2>OpenChat<\/h2>\n<p>\u0421\u0441\u044b\u043b\u043a\u0430: <a href=\"https:\/\/huggingface.co\/openchat\/openchat_3.5\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/openchat\/openchat_3.5<\/a><\/p>\n<p>\u041e\u043d\u043b\u0430\u0439\u043d \u0434\u0435\u043c\u043e: <a href=\"https:\/\/openchat.team\/ru\" rel=\"noopener noreferrer nofollow\">https:\/\/openchat.team\/<\/a><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f0d\/185\/653\/f0d1856538235fcdd846cd199c81af94.png\" alt=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 chatGPT\" title=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 chatGPT\" width=\"1261\" height=\"1090\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f0d\/185\/653\/f0d1856538235fcdd846cd199c81af94.png\"\/><\/p>\n<div><figcaption>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 chatGPT<\/figcaption><\/div>\n<\/figure>\n<p>\u042d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 70B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u043c\u0435\u044f \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c 7B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u0430\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 ChatGPT-3.5, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e \u0441\u043b\u0443\u0445\u0430\u043c \u0438\u043c\u0435\u0435\u0442 175B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043e\u043d\u0430 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442 \u0434\u043e ChatGPT, \u043d\u043e \u043e\u043d\u0430 \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 Alpaca, Vicuna \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 7B, \u0445\u043e\u0440\u043e\u0448\u043e, \u0445\u043e\u0442\u044c \u0438 \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e, \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0438 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043d\u0430 \u043d\u0435\u043c \u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442, \u0431\u0435\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043e\u043a \u043e\u0431 \u044d\u0442\u043e\u043c.<\/p>\n<p>\u0410 \u0442\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0435\u0451 \u0431\u0435\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0434\u0430\u0436\u0435 \u043d\u0430 CPU. \u0422\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f 14\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e 5 bit \u0432\u0441\u0435\u0433\u043e 5\u0433\u0431, \u0447\u0442\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0440\u043e\u0432\u043d\u044f ChatGPT-3.5 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<h2>DeepSeek Coder<\/h2>\n<p>\u0421\u0441\u044b\u043b\u043a\u0430: <a href=\"https:\/\/github.com\/deepseek-ai\/deepseek-coder\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/deepseek-ai\/deepseek-coder<\/a><\/p>\n<p>\u041e\u043d\u043b\u0430\u0439\u043d \u0434\u0435\u043c\u043e: <a href=\"https:\/\/chat.deepseek.com\/coder\" rel=\"noopener noreferrer nofollow\">https:\/\/chat.deepseek.com\/coder<\/a><\/p>\n<p>\u042d\u0442\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430 \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432 \u0432\u0438\u0434\u0435 base \u0438 Incruct \u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u0432\u0435\u0441\u043e\u0432 1.3B, 5.7B, 6.7B \u0438\u043b\u0438 33B. Incruct \u0432\u0435\u0440\u0441\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0431\u043e\u043b\u0442\u0430\u0442\u044c. \u041f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u0442\u0435\u0441\u0442\u0430\u043c \u0434\u043b\u044f Python&#8217;\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0448\u0435 \u0447\u0435\u043c ChatGPT-3.5 \u043d\u0430 3% \u0438 \u043e\u0442\u0441\u0442\u0430\u0435\u0442 \u043e\u0442 ChatGPT-4.0 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 5%. \u0421 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u0430\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043d\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u043b\u0438\u0437\u043a\u0438:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/704\/f88\/23c\/704f8823cb5da777ba23cc0c75d4eae3.png\" alt=\"\" title=\"\" width=\"2380\" height=\"1684\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/704\/f88\/23c\/704f8823cb5da777ba23cc0c75d4eae3.png\"\/><\/figure>\n<h2>LLaVA: Large Language and Vision Assistant<\/h2>\n<p>\u0421\u0441\u044b\u043b\u043a\u0430: <a href=\"https:\/\/github.com\/haotian-liu\/LLaVA\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/haotian-liu\/LLaVA<\/a><\/p>\n<p>\u041e\u043d\u043b\u0430\u0439\u043d \u0434\u0435\u043c\u043e: <a href=\"https:\/\/llava.hliu.cc\/\" rel=\"noopener noreferrer nofollow\">https:\/\/llava.hliu.cc\/<\/a><\/p>\n<p>gguf \u043c\u043e\u0434\u0435\u043b\u044c 13B: <a href=\"https:\/\/huggingface.co\/mys\/ggml_llava-v1.5-13b\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/mys\/ggml_llava-v1.5-13b<\/a><\/p>\n<p>gguf \u043c\u043e\u0434\u0435\u043b\u044c 7B: <a href=\"https:\/\/huggingface.co\/jartine\/llava-v1.5-7B-GGUF\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/jartine\/llava-v1.5-7B-GGUF<\/a><\/p>\n<p>\u0410\u043d\u0430\u043b\u043e\u0433 ChatGPT Vision. \u041c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u044d\u0442\u0438\u043c, \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0432 \u0447\u0435\u043c \u044e\u043c\u043e\u0440 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u043e \u0438 \u043a\u0440\u0430\u0441\u043e\u0447\u043d\u043e, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0432\u044b\u0432\u0435\u0440\u0435\u043d\u043d\u0443\u044e \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e. <\/p>\n<p>\u0415\u0441\u0442\u044c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0432 7B \u0438 13B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f2d\/83c\/8c0\/f2d83c8c01411c74008d30923991b57c.png\" alt=\"\" title=\"\" width=\"918\" height=\"630\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f2d\/83c\/8c0\/f2d83c8c01411c74008d30923991b57c.png\"\/><\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438?<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e33\/e0b\/a54\/e33e0ba549cbb50c51c44b01e99a3dad.png\" alt=\"\u041d\u0430 \u044d\u043a\u0440\u0430\u043d\u0435 \u043d\u0430\u0434\u043f\u0438\u0441\u044c &quot;Linux&quot;\" title=\"\u041d\u0430 \u044d\u043a\u0440\u0430\u043d\u0435 \u043d\u0430\u0434\u043f\u0438\u0441\u044c &quot;Linux&quot;\" width=\"912\" height=\"634\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e33\/e0b\/a54\/e33e0ba549cbb50c51c44b01e99a3dad.png\"\/><\/p>\n<div><figcaption>\u041d\u0430 \u044d\u043a\u0440\u0430\u043d\u0435 \u043d\u0430\u0434\u043f\u0438\u0441\u044c &#171;Linux&#187;<\/figcaption><\/div>\n<\/figure>\n<h2>\u0413\u0434\u0435 \u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0430\u043a \u0438\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e<\/h2>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/huggingface.co\/\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/<\/a><\/p>\n<p>\u0412 \u043f\u043e\u0438\u0441\u043a\u0435 \u043d\u0443\u0436\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0432\u0435\u0434\u044f DeepSeek + gguf \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u0439\u0442\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0443\u0440\u043e\u0432\u043d\u044f\u043c\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5ca\/652\/a4d\/5ca652a4da2371c31f33fb4619e5905b.png\" width=\"788\" height=\"549\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ca\/652\/a4d\/5ca652a4da2371c31f33fb4619e5905b.png\"\/><\/figure>\n<p>\u041b\u0438\u0431\u043e \u043a\u0430\u0447\u0430\u0442\u044c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e llama.cpp. <\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 OpenChat. \u041d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 <a href=\"https:\/\/huggingface.co\/openchat\/openchat_3.5\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/openchat\/openchat_3.5<\/a> \u043d\u0430\u0436\u0438\u043c\u0430\u0435\u0442\u0435 \u043d\u0430 3 \u0442\u043e\u0447\u0435\u0447\u043a\u0438 \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0435 Clone repository \u0438 \u0442\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043a\u0430\u043a \u043a\u043b\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0438 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 gguf \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0434 Windows, \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c cmake &#8212; <a href=\"https:\/\/cmake.org\/download\/\" rel=\"noopener noreferrer nofollow\">https:\/\/cmake.org\/download\/<\/a>, \u043b\u0438\u0431\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c wsl.<\/p>\n<pre><code># \u043a\u043b\u043e\u043d\u0438\u0440\u0443\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0441 openchat git lfs install git clone https:\/\/huggingface.co\/openchat\/openchat_3.5  # \u043a\u043b\u043e\u043d\u0438\u0440\u0443\u0435\u043c llama.cpp \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0435\u0451 \u043f\u0430\u043f\u043a\u0443 git clone https:\/\/github.com\/ggerganov\/llama.cpp.git cd llama.cpp  # \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0432\u0441\u0435 \u043d\u0443\u0436\u043d\u044b\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0438 make # \u0435\u0441\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438 cmake, \u0442\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 cmake, \u0432\u043c\u0435\u0441\u0442\u043e make  # \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 pip install -r requirements.txt  # \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0430\u043c\u0443 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e python3 convert.py ..\/openchat_3.5\/  --outfile openchat_3.5-f16.gguf  # \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 5bit \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0435 .\/quantize openchat_3.5-f16.gguf openchat_3.5-q5_K_M.gguf q5_K_M<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b\u044b openchat_3.5-f16.gguf \u0438 openchat_3.5-q5_K_M.gguf &#8212; \u043f\u0435\u0440\u0432\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c 15\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 &#8212; 6.3\u0433\u0431.<\/p>\n<p>\u041a\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0431\u0440\u0430\u0442\u044c &#8212; <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\/discussions\/406\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/ggerganov\/llama.cpp\/discussions\/406<\/a> \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u044d\u0442\u043e q4_K_M, \u0433\u0434\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 1% \u043f\u043e\u0442\u0435\u0440\u044c, \u043d\u043e \u0435\u0441\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c q5_K_M. \u0426\u0438\u0442\u0430\u0442\u0430 \u043e\u0442\u0442\u0443\u0434\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/87d\/0de\/415\/87d0de415657248a58e416b9d985874f.png\" alt=\"+ppl - \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e f16.+ppl % - \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.+ppl \u043e\u0442 13b \u0434\u043e 7b % - \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 13b \u043a \u043c\u043e\u0434\u0435\u043b\u0438 7b.\" title=\"+ppl - \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e f16.+ppl % - \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.+ppl \u043e\u0442 13b \u0434\u043e 7b % - \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 13b \u043a \u043c\u043e\u0434\u0435\u043b\u0438 7b.\" width=\"691\" height=\"614\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/87d\/0de\/415\/87d0de415657248a58e416b9d985874f.png\"\/><\/p>\n<div><figcaption>+ppl &#8212; \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e f16.<br \/>+ppl % &#8212; \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<br \/>+ppl \u043e\u0442 13b \u0434\u043e 7b % &#8212; \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 13b \u043a \u043c\u043e\u0434\u0435\u043b\u0438 7b.<\/figcaption><\/div>\n<\/figure>\n<h2>\u0413\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0434\u043b\u044f text2text \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h2>\n<p>\u0415\u0441\u0442\u044c \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 text2text \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c, \u0432\u043a\u043b\u044e\u0447\u0430\u044f AMD \u043d\u0430 Windows: <\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/oobabooga\/text-generation-webui\" rel=\"noopener noreferrer nofollow\">text-generation-webui<\/a> &#8212; \u0434\u043b\u044f \u0442\u0435\u0445 \u043a\u043e\u043c\u0443 \u043f\u0440\u0438\u0432\u044b\u0447\u0435\u043d \u043f\u043e\u0434\u0445\u043e\u0434 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u0434\u043b\u044f stable diffusion, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0441\u0435\u0440\u0432\u0435\u0440, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0441\u0441\u044b\u043b\u043a\u0430 \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430 \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/LostRuins\/koboldcpp\" rel=\"noopener noreferrer nofollow\">koboldcpp<\/a> &#8212; \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f exe \u0444\u0430\u0439\u043b \u0438 \u0440\u0430\u0431\u043e\u0442\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435, \u0434\u043b\u044f Nvidia \u043a\u0430\u0440\u0442, \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 CUDA.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/YellowRoseCx\/koboldcpp-rocm\/releases\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/YellowRoseCx\/koboldcpp-rocm\/releases<\/a> &#8212; koboldcpp \u0434\u043b\u044f AMD \u043d\u0430 Windows. \u0421\u0431\u043e\u0440\u043a\u0430 \u0441 ROCm, \u0432\u043c\u0435\u0441\u0442\u043e CUDA.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/nuance1979\/llama-server\" rel=\"noopener noreferrer nofollow\">llama server<\/a> &#8212; \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0434\u043b\u044f <a href=\"https:\/\/github.com\/mckaywrigley\/chatbot-ui\" rel=\"noopener noreferrer nofollow\">Chatbot UI<\/a>, \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u043a\u0430\u043a \u0443 chatGPT.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/imoneoi\/openchat-ui#-running-locally\" rel=\"noopener noreferrer nofollow\">open-chat-ui<\/a> &#8212; \u0437\u0430\u043f\u0443\u0441\u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 UI \u0434\u043b\u044f OpenChat \u043a\u0430\u043a \u043d\u0430 \u0438\u0445 \u0441\u0430\u0439\u0442\u0435 \u043e\u043d\u043b\u0430\u0439\u043d.<\/p>\n<\/li>\n<\/ul>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c LLaVA<\/h2>\n<p>\u0425\u043e\u0442\u044f \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e LLaVA \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0430\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434 Linux, \u043d\u043e \u0434\u043b\u044f Windows \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/haotian-liu\/LLaVA\/blob\/main\/docs\/Windows.md\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/haotian-liu\/LLaVA\/blob\/main\/docs\/Windows.md<\/a> &#8212; \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f f16 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0442\u044f\u0436\u0435\u043b\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043a \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 Linux).<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e llama.cpp, \u0442\u0430\u043c \u0432 \u043d\u0430\u0431\u043e\u0440\u0435 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c llava. \u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 cpu\/gpu. \u041d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438 \u0441\u0430\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 mmproj \u043c\u043e\u0434\u0435\u043b\u044c (\u043a\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0436\u0435 \u043d\u0430 huggingface). \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<p><code>.\/llava-cli -m models\/llava\/llava-v1.5-7b-Q4_K.gguf --mmproj models\/llava\/llava-v1.5-7b-mmproj-Q4_0.gguf --image 01.jpg<\/code><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 -p, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u0430 \u043f\u0438\u043d\u0433\u0432\u0438\u043d:<\/p>\n<p><code>.\/llava-cli -m models\/llava\/llava-v1.5-7b-Q4_K.gguf --mmproj models\/llava\/llava-v1.5-7b-mmproj-Q4_0.gguf --image red_linux.jpg -p \"what colour is the penguin?\"<\/code><\/p>\n<\/li>\n<li>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/github.com\/oobabooga\/text-generation-webui\/tree\/main\/extensions\/multimodal\" rel=\"noopener noreferrer nofollow\">text-generation-webui multimodal<\/a>, \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u043d\u043e \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u043e\u0437\u0438\u0442\u0441\u044f \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0442\u0438\u043f\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0417\u0430\u043f\u0443\u0441\u043a \u043d\u0430 Windows \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043d\u0430 AMD \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u0445<\/h2>\n<p>ROCm &#8212; \u044d\u0442\u043e \u0430\u043d\u0430\u043b\u043e\u0433 CUDA \u043e\u0442 AMD. \u041f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 ROCm \u043d\u0430 Windows \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442\u0441\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c Blender \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043d\u0430 ROCm. \u0418 \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043a \u0434\u043b\u044f koboldcpp \u0441 ROCm, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u043e\u0436\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0421\u043f\u0430\u0441\u0438\u0431\u043e <a class=\"mention\" href=\"\/users\/drxak\">@DrXak<\/a>\u0437\u0430 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0443, \u0447\u0442\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f Windows.<\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0444\u0430\u0439\u043b <code>koboldcpp_rocm_only.exe<\/code> \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0433\u043e, \u0442\u0430\u043c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e GPU \u0441\u043b\u043e\u0435\u0432 (\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438):<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/60d\/b80\/6af\/60db806af0d632857107b34c3aaf77a3.png\" width=\"991\" height=\"627\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/60d\/b80\/6af\/60db806af0d632857107b34c3aaf77a3.png\"\/><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0442\u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0439\u0442\u0438 \u043f\u043e\u043b\u0435 \u0434\u043b\u044f \u0432\u0432\u043e\u0434\u0430 \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u043d\u0430\u0439\u0442\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e Instruct Mode \u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0434\u043b\u044f \u043e\u0442\u044b\u0433\u0440\u044b\u0448\u0430 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0435\u0439. \u0414\u043b\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0436\u0438\u043c\u0430\u0442\u044c Generate More.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d5d\/de9\/4e1\/d5dde94e1bb1d0b1c9524cdf3b07c062.png\" width=\"1846\" height=\"1107\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d5d\/de9\/4e1\/d5dde94e1bb1d0b1c9524cdf3b07c062.png\"\/><\/figure>\n<p>\u041f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 7900 xtx \u043d\u0435 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 4090, 66 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ca8\/0db\/46c\/ca80db46cd58765e09cf0239ded51256.png\" width=\"977\" height=\"166\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca8\/0db\/46c\/ca80db46cd58765e09cf0239ded51256.png\"\/><\/figure>\n<h2>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a text-generation-webui<\/h2>\n<p>\u0420\u0430\u043d\u044c\u0448\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0431\u044b\u043b\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439, \u043d\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 1 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c <code>start_windows.bat<\/code> \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u0441\u0451 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u043e.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c zip-\u0430\u0440\u0445\u0438\u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f \u0438\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c:<\/p>\n<p><code>git clone https:\/\/github.com\/oobabooga\/text-generation-webui<\/code> <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0438 \u0430\u0440\u0445\u0438\u0432\u0430 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u0432 \u043f\u0430\u043f\u043a\u0443, \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0434 Windows, \u0442\u043e \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>start_windows.bat<\/code>, \u0438\u043b\u0438 <code>start_linux.sh<\/code> \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0434 Linux.<\/p>\n<p>\u041f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0432\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0430\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0430 \u0447\u0435\u043c \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c, \u043d\u0430 GPU \u0438\u043b\u0438 CPU. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430, \u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 GPU, \u0434\u0430\u0436\u0435 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435 \u0441 4\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0439, \u0430 \u0447\u0430\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u043d\u0430 CPU. <\/p>\n<p>\u0414\u043b\u044f AMD \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u043f\u043e\u043a\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f ROCm \u043f\u043e\u0434 Linux. \u0420\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0434 \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c ROCm \u043f\u043e\u0434 Windows \u0432\u0435\u0434\u0443\u0442\u0441\u044f. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ba3\/c51\/59b\/ba3c5159b2650f3e030702a95e2b9501.png\" width=\"579\" height=\"255\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba3\/c51\/59b\/ba3c5159b2650f3e030702a95e2b9501.png\"\/><\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0443 models \u0438 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cde\/a94\/af7\/cdea94af70bfc29bc70b87ee0cb29376.png\" width=\"1469\" height=\"867\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cde\/a94\/af7\/cdea94af70bfc29bc70b87ee0cb29376.png\"\/><\/figure>\n<p>\u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c gguf \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c llama.cpp \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430. <\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0442\u0443\u0442 \u043c\u043e\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0435\u0432 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u043d\u0430 GPU, \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u0431\u044a\u0435\u043c\u043e\u043c \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. <\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u043e\u043b\u0437\u0443\u043d\u043e\u043a \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c, \u0442\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0438 \u043f\u043e\u0441\u043b\u0435 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u0445\u043e\u0447\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u0432\u0438\u0434\u0435\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0436\u0430\u0442\u044c Load \u0438 \u043d\u0430\u0447\u043d\u0435\u0442\u0441\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043f\u0443\u0441\u0442\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043d\u0430\u0434\u043f\u0438\u0441\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u0430. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d4d\/d74\/51d\/d4dd7451d74922fabf540765d5ce6bbc.png\" width=\"699\" height=\"126\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d4d\/d74\/51d\/d4dd7451d74922fabf540765d5ce6bbc.png\"\/><\/figure>\n<p>\u0412 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u0442\u044c 2048 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043d\u0430\u0436\u0438\u043c\u0430\u0442\u044c &#171;Continue&#187; \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432\u0441\u0435\u0433\u043e 200 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043b\u0438\u043f\u0430\u0442\u044c \u043d\u0430 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u043e\u0442\u0432\u0435\u0442\u0430. \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0447\u0430\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u043a\u043e\u0433\u0434\u0430 \u0445\u043e\u0442\u0438\u0442\u0435 \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u0435\u043c\u0443 \u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0442\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7d5\/9b8\/56f\/7d59b856fb19a5494f159e03dbd5fbfb.png\" width=\"792\" height=\"371\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d5\/9b8\/56f\/7d59b856fb19a5494f159e03dbd5fbfb.png\"\/><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043d\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0443 Chat \u0438 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6a8\/18b\/907\/6a818b907351244fa4200935cfc35b6e.png\" width=\"924\" height=\"656\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a8\/18b\/907\/6a818b907351244fa4200935cfc35b6e.png\"\/><\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u0434\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0430\u043d\u0430\u043b\u0438\u0437:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5fe\/21c\/4af\/5fe21c4af32d8b38cac2bdb2e7f483ec.png\" width=\"933\" height=\"915\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fe\/21c\/4af\/5fe21c4af32d8b38cac2bdb2e7f483ec.png\"\/><\/figure>\n<p>Chat \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 3 \u0440\u0435\u0436\u0438\u043c\u0430\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e: chat, chat-instruct \u0438 instruct, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d chat. \u0412 \u0440\u0435\u0436\u0438\u043c\u0435 chat \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u0432\u0437\u0438\u0440\u0430\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0432\u044b \u0443 \u043d\u0435\u0451 \u043f\u0440\u043e\u0441\u0438\u0442\u0435. <\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0438\u0441\u0430\u043b\u0430 \u0432 \u043e\u0442\u0432\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434, \u0431\u0435\u0437 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0440\u0435\u0436\u0438\u043c chat-instruct \u0438\u043b\u0438 instruct:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b4a\/555\/4c6\/b4a5554c6d514ce7ea7965aa5fd3fda8.png\" width=\"952\" height=\"889\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b4a\/555\/4c6\/b4a5554c6d514ce7ea7965aa5fd3fda8.png\"\/><\/figure>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 todo \u043d\u0430 js:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/163\/f3e\/1f1\/163f3e1f14a11a289c4595955c82a741.png\" width=\"950\" height=\"838\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/163\/f3e\/1f1\/163f3e1f14a11a289c4595955c82a741.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/325\/ed1\/970\/325ed1970a19b528f3a44b58e042738b.png\" alt=\"\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u0430\" title=\"\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u0430\" width=\"917\" height=\"894\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/325\/ed1\/970\/325ed1970a19b528f3a44b58e042738b.png\"\/><\/p>\n<div><figcaption>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0447\u0438\u0439, \u043a\u043d\u043e\u043f\u043a\u0430 X \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u0435\u0442, \u0441\u0430\u043c\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3fc\/103\/ff6\/3fc103ff6a477986308293167088541f.png\" width=\"724\" height=\"368\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fc\/103\/ff6\/3fc103ff6a477986308293167088541f.png\"\/><\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e 7B \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/aff\/0fe\/82d\/aff0fe82da0dbeb303f53aabe3f02c97.png\" alt=\"\u041e\u0442\u0432\u0435\u0442 \u0432\u0435\u0440\u043d\u044b\u0439\" title=\"\u041e\u0442\u0432\u0435\u0442 \u0432\u0435\u0440\u043d\u044b\u0439\" width=\"927\" height=\"305\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aff\/0fe\/82d\/aff0fe82da0dbeb303f53aabe3f02c97.png\"\/><\/p>\n<div><figcaption>\u041e\u0442\u0432\u0435\u0442 \u0432\u0435\u0440\u043d\u044b\u0439<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u0417\u0430\u043f\u0440\u043e\u0441: \u043d\u0430\u043f\u0438\u0448\u0438 flutter \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u0442 \u043c\u0435\u0441\u0441\u0435\u043d\u0434\u0436\u0435\u0440:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c1\/a0b\/add\/5c1a0badd77ab92436754d9630779b5b.webp\" alt=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 OpenChat 7B Q5, \u043d\u0430 4090 66 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443\" title=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 OpenChat 7B Q5, \u043d\u0430 4090 66 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443\" width=\"720\" height=\"515\"\/><\/p>\n<div><figcaption>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 OpenChat 7B Q5, \u043d\u0430 4090 66 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443<\/figcaption><\/div>\n<\/figure>\n<h2>\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c DeepSeek Coder<\/h2>\n<p>OpenChat \u043c\u043e\u0436\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0434, \u043d\u043e \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u0439, \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0442\u043e, \u0447\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f. \u0412 \u044d\u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 DeepSeek \u043a\u0443\u0434\u0430 \u0431\u043b\u0438\u0436\u0435 \u043a ChatGPT, \u0447\u0435\u043c OpenChat. <\/p>\n<p>\u0414\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0434\u0430, \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0438\u043c\u0435\u043d\u0435\u043c instruct, \u043e\u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c base \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0435\u0441\u0442\u044c \u0440\u0435\u0436\u0438\u043c \u0447\u0430\u0442\u0430 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0430 \u0445\u0443\u0436\u0435 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043a\u043e\u0434\u043e\u043c. \u0410 \u0441\u0430\u043c \u0447\u0430\u0442 \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0442\u043e\u0436\u0435 \u0432 \u0440\u0435\u0436\u0438\u043c instruct \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 (\u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043b\u044f OpenChat, \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0434):<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dd5\/1c3\/282\/dd51c32829f879442f1bd408bb3f7e19.png\" width=\"930\" height=\"149\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dd5\/1c3\/282\/dd51c32829f879442f1bd408bb3f7e19.png\"\/><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043c\u043e\u0436\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u044b \u043e\u0442 \u043d\u0435\u0451 \u0445\u043e\u0442\u0438\u0442\u0435 \u0438 \u043b\u0443\u0447\u0448\u0435 \u0434\u043e\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u043c\u043e\u0433\u043b\u043e \u0431\u044b \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u043a\u043e\u0434\u0430. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0433\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c bash-\u0441\u043a\u0440\u0438\u043f\u0442, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0443 OpenChat \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/290\/25d\/2ee\/29025d2ee78a23a5660435271bf72642.png\" alt=\"\u041d\u0430\u043f\u0438\u0448\u0438 bash \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0435 \u0438 \u043f\u043e\u0434\u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0438 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 png \u0438 jpg, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442, \u0438 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0432 txt \u0444\u0430\u0439\u043b  \" title=\"\u041d\u0430\u043f\u0438\u0448\u0438 bash \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0435 \u0438 \u043f\u043e\u0434\u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0438 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 png \u0438 jpg, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442, \u0438 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0432 txt \u0444\u0430\u0439\u043b  \" width=\"911\" height=\"641\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/290\/25d\/2ee\/29025d2ee78a23a5660435271bf72642.png\"\/><\/p>\n<div><figcaption>\u041d\u0430\u043f\u0438\u0448\u0438 bash \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0435 \u0438 \u043f\u043e\u0434\u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0438 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 png \u0438 jpg, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442, \u0438 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0432 txt \u0444\u0430\u0439\u043b  <\/figcaption><\/div>\n<\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0434\u0430\u0442\u044c \u0442\u043e\u0436\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 OpenChat, \u0442\u043e \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0432\u0441\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0436\u0438\u0434\u0430\u044e\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b, \u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0445, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u043d\u0435 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u0418 \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u043d\u043e DeepSeek \u0438 ChatGPT \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8ef\/a53\/483\/8efa534830a114888bf1dc88741e1fbd.png\" alt=\" \u041d\u0430\u043f\u0438\u0448\u0438 bash \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0435 \u0438 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0430\u0445 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 png \u0438 jpg, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442, \u0438 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0432 txt \u0444\u0430\u0439\u043b.\" title=\" \u041d\u0430\u043f\u0438\u0448\u0438 bash \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0435 \u0438 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0430\u0445 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 png \u0438 jpg, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442, \u0438 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0432 txt \u0444\u0430\u0439\u043b.\" width=\"922\" height=\"882\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ef\/a53\/483\/8efa534830a114888bf1dc88741e1fbd.png\"\/><\/p>\n<div><figcaption> \u041d\u0430\u043f\u0438\u0448\u0438 bash \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0435 \u0438 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0430\u0445 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 png \u0438 jpg, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442, \u0438 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0432 txt \u0444\u0430\u0439\u043b.<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0441 \u0447\u0435\u043c \u0438 \u0443 ChatGPT \u0435\u0441\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0441 1 \u0440\u0430\u0437\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0451 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441: \u041d\u0430\u043f\u0438\u0448\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 flutter \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043a\u043e\u043c\u0438\u043a\u0441 xkcd. \u0414\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043a\u043d\u043e\u043f\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u043c\u0438\u043a\u0441. \u0414\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043a\u043d\u043e\u043f\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0432\u043e\u0451 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0435<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/353\/662\/e09\/353662e09c4624fcfad5734bd9a0d40f.png\" alt=\"\" title=\"\" width=\"941\" height=\"883\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/353\/662\/e09\/353662e09c4624fcfad5734bd9a0d40f.png\"\/><\/figure>\n<p>\u041a\u043e\u0434 \u0441 \u0432\u0438\u0434\u0443 \u0440\u0430\u0431\u043e\u0447\u0438\u0439, \u043d\u043e \u043f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u0448\u0438\u0431\u043a\u0438, \u043f\u043e\u043a\u0430 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0433\u043e, \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0438 ChatGPT. ChatGPT \u043c\u043e\u0436\u0435\u0442 \u0438\u0445 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0435\u0441\u043b\u0438 \u0435\u043c\u0443 \u043a\u0438\u0434\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0430\u0445, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a \u0441 \u044d\u0442\u0438\u043c \u0443 DeepSeek:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c23\/d8a\/451\/c23d8a451611f5b9d1b75262750d1487.png\" alt=\"\" title=\"\" width=\"922\" height=\"504\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c23\/d8a\/451\/c23d8a451611f5b9d1b75262750d1487.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c21\/8b9\/b90\/c218b9b90e53164e0195a0e9c9ab120f.png\" width=\"932\" height=\"550\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c21\/8b9\/b90\/c218b9b90e53164e0195a0e9c9ab120f.png\"\/><\/figure>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c. \u0414\u0430, \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0430\u0441\u044c:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/230\/659\/982\/2306599824bd23251dda893cbcb1800b.png\" alt=\"\u041a\u043d\u043e\u043f\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\" title=\"\u041a\u043d\u043e\u043f\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\" width=\"1103\" height=\"614\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/230\/659\/982\/2306599824bd23251dda893cbcb1800b.png\"\/><\/p>\n<div><figcaption>\u041a\u043d\u043e\u043f\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u043e\u043b\u0438\u0441\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043d\u043e \u043e\u043d\u043e \u043d\u0435 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e\u0435, \u0430 \u043d\u0430 1 \u043a\u043e\u043c\u0438\u043a\u0441 \u0432\u043f\u0435\u0440\u0435\u0434. \u041a\u043d\u043e\u043f\u043a\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0441\u0430\u043c \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0432 \u0432\u0438\u0434\u0435 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u043b\u0435\u043d\u0442\u044b \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442, \u043a\u043d\u043e\u043f\u043a\u0430 \u043d\u0430\u0437\u0430\u0434 \u043d\u0430 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u044d\u043a\u0440\u0430\u043d \u0442\u043e\u0436\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/905\/fbb\/59c\/905fbb59cf711d13de94d1cb5543e5d0.png\" alt=\"\u041b\u0435\u043d\u0442\u0430 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e (\u0435\u0441\u043b\u0438 \u043b\u0438\u0441\u0442\u0430\u0442\u044c \u0432\u043d\u0438\u0437, \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0451 3 \u043a\u043e\u043c\u0438\u043a\u0441\u0430)\" title=\"\u041b\u0435\u043d\u0442\u0430 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e (\u0435\u0441\u043b\u0438 \u043b\u0438\u0441\u0442\u0430\u0442\u044c \u0432\u043d\u0438\u0437, \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0451 3 \u043a\u043e\u043c\u0438\u043a\u0441\u0430)\" width=\"1227\" height=\"741\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/905\/fbb\/59c\/905fbb59cf711d13de94d1cb5543e5d0.png\"\/><\/p>\n<div><figcaption>\u041b\u0435\u043d\u0442\u0430 \u0438\u0437\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e (\u0435\u0441\u043b\u0438 \u043b\u0438\u0441\u0442\u0430\u0442\u044c \u0432\u043d\u0438\u0437, \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0451 3 \u043a\u043e\u043c\u0438\u043a\u0441\u0430)<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 ChatGPT-3.5 \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u043f\u043e\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043e\u043d \u0442\u043e\u0436\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u043b \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u043c\u0438\u043a\u0441 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043d\u0435 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 Flutter \u043a\u043e\u0434, \u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0430\u0445, \u043e\u043d \u043e\u0448\u0438\u0431\u043a\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u043b, \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 DeepSeek. \u041c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u0432 \u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u0434\u043a\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445, \u0447\u0435\u043c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f Dart \u0438 Flutter, \u043e\u043d\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0441\u0435\u0431\u044f \u0440\u0430\u0432\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/776314\/\"> https:\/\/habr.com\/ru\/articles\/776314\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption>OpenChat 7B \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 text-generation-webui<\/figcaption><\/div>\n<\/figure>\n<p>\u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432 ChatGPT, \u043d\u043e \u0438\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0434\u0430\u0436\u0435 65B \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u043e\u0442\u044f \u0431\u044b \u0441 ChatGPT-3.5. \u0418 \u0437\u0434\u0435\u0441\u044c \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e 2 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u044e.<\/p>\n<p>\u0420\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0435\u0442 \u043e OpenChat 7B \u0438 DeepSeek Coder. \u041e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0431\u044b\u0441\u0442\u0440\u044b, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0430 CPU, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c \u043d\u0430 GPU (\u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u043d\u0430 GPU, \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u0432\u0430\u0442\u0438\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438) \u0438 \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441.<\/p>\n<p>\u0418 \u0431\u043e\u043d\u0443\u0441\u043e\u043c \u0437\u0430\u0442\u0440\u043e\u043d\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0433\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0444\u043e\u0442\u043e.<\/p>\n<p>UPD: \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u0430 Windows \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043d\u0430 AMD.<\/p>\n<h2>OpenChat<\/h2>\n<p>\u0421\u0441\u044b\u043b\u043a\u0430: <a href=\"https:\/\/huggingface.co\/openchat\/openchat_3.5\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/openchat\/openchat_3.5<\/a><\/p>\n<p>\u041e\u043d\u043b\u0430\u0439\u043d \u0434\u0435\u043c\u043e: <a href=\"https:\/\/openchat.team\/ru\" rel=\"noopener noreferrer nofollow\">https:\/\/openchat.team\/<\/a><\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 chatGPT<\/figcaption><\/div>\n<\/figure>\n<p>\u042d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 70B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u043c\u0435\u044f \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c 7B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u0430\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 ChatGPT-3.5, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e \u0441\u043b\u0443\u0445\u0430\u043c \u0438\u043c\u0435\u0435\u0442 175B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043e\u043d\u0430 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442 \u0434\u043e ChatGPT, \u043d\u043e \u043e\u043d\u0430 \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 Alpaca, Vicuna \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 7B, \u0445\u043e\u0440\u043e\u0448\u043e, \u0445\u043e\u0442\u044c \u0438 \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e, \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0438 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043d\u0430 \u043d\u0435\u043c \u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442, \u0431\u0435\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043e\u043a \u043e\u0431 \u044d\u0442\u043e\u043c.<\/p>\n<p>\u0410 \u0442\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0435\u0451 \u0431\u0435\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0434\u0430\u0436\u0435 \u043d\u0430 CPU. \u0422\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f 14\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e 5 bit \u0432\u0441\u0435\u0433\u043e 5\u0433\u0431, \u0447\u0442\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0440\u043e\u0432\u043d\u044f ChatGPT-3.5 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<h2>DeepSeek Coder<\/h2>\n<p>\u0421\u0441\u044b\u043b\u043a\u0430: <a href=\"https:\/\/github.com\/deepseek-ai\/deepseek-coder\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/deepseek-ai\/deepseek-coder<\/a><\/p>\n<p>\u041e\u043d\u043b\u0430\u0439\u043d \u0434\u0435\u043c\u043e: <a href=\"https:\/\/chat.deepseek.com\/coder\" rel=\"noopener noreferrer nofollow\">https:\/\/chat.deepseek.com\/coder<\/a><\/p>\n<p>\u042d\u0442\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430 \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432 \u0432\u0438\u0434\u0435 base \u0438 Incruct \u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u0432\u0435\u0441\u043e\u0432 1.3B, 5.7B, 6.7B \u0438\u043b\u0438 33B. Incruct \u0432\u0435\u0440\u0441\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0431\u043e\u043b\u0442\u0430\u0442\u044c. \u041f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u0442\u0435\u0441\u0442\u0430\u043c \u0434\u043b\u044f Python&#8217;\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0448\u0435 \u0447\u0435\u043c ChatGPT-3.5 \u043d\u0430 3% \u0438 \u043e\u0442\u0441\u0442\u0430\u0435\u0442 \u043e\u0442 ChatGPT-4.0 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 5%. \u0421 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u0430\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043d\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u043b\u0438\u0437\u043a\u0438:<\/p>\n<figure class=\"full-width\"><\/figure>\n<h2>LLaVA: Large Language and Vision Assistant<\/h2>\n<p>\u0421\u0441\u044b\u043b\u043a\u0430: <a href=\"https:\/\/github.com\/haotian-liu\/LLaVA\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/haotian-liu\/LLaVA<\/a><\/p>\n<p>\u041e\u043d\u043b\u0430\u0439\u043d \u0434\u0435\u043c\u043e: <a href=\"https:\/\/llava.hliu.cc\/\" rel=\"noopener noreferrer nofollow\">https:\/\/llava.hliu.cc\/<\/a><\/p>\n<p>gguf \u043c\u043e\u0434\u0435\u043b\u044c 13B: <a href=\"https:\/\/huggingface.co\/mys\/ggml_llava-v1.5-13b\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/mys\/ggml_llava-v1.5-13b<\/a><\/p>\n<p>gguf \u043c\u043e\u0434\u0435\u043b\u044c 7B: <a href=\"https:\/\/huggingface.co\/jartine\/llava-v1.5-7B-GGUF\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/jartine\/llava-v1.5-7B-GGUF<\/a><\/p>\n<p>\u0410\u043d\u0430\u043b\u043e\u0433 ChatGPT Vision. \u041c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u044d\u0442\u0438\u043c, \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0432 \u0447\u0435\u043c \u044e\u043c\u043e\u0440 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u043e \u0438 \u043a\u0440\u0430\u0441\u043e\u0447\u043d\u043e, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0432\u044b\u0432\u0435\u0440\u0435\u043d\u043d\u0443\u044e \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e. <\/p>\n<p>\u0415\u0441\u0442\u044c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0432 7B \u0438 13B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438?<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041d\u0430 \u044d\u043a\u0440\u0430\u043d\u0435 \u043d\u0430\u0434\u043f\u0438\u0441\u044c &#171;Linux&#187;<\/figcaption><\/div>\n<\/figure>\n<h2>\u0413\u0434\u0435 \u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0430\u043a \u0438\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e<\/h2>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/huggingface.co\/\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/<\/a><\/p>\n<p>\u0412 \u043f\u043e\u0438\u0441\u043a\u0435 \u043d\u0443\u0436\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0432\u0435\u0434\u044f DeepSeek + gguf \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u0439\u0442\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0443\u0440\u043e\u0432\u043d\u044f\u043c\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041b\u0438\u0431\u043e \u043a\u0430\u0447\u0430\u0442\u044c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e llama.cpp. <\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 OpenChat. \u041d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 <a href=\"https:\/\/huggingface.co\/openchat\/openchat_3.5\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/openchat\/openchat_3.5<\/a> \u043d\u0430\u0436\u0438\u043c\u0430\u0435\u0442\u0435 \u043d\u0430 3 \u0442\u043e\u0447\u0435\u0447\u043a\u0438 \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0435 Clone repository \u0438 \u0442\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043a\u0430\u043a \u043a\u043b\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0438 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 gguf \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0434 Windows, \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c cmake &#8212; <a href=\"https:\/\/cmake.org\/download\/\" rel=\"noopener noreferrer nofollow\">https:\/\/cmake.org\/download\/<\/a>, \u043b\u0438\u0431\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c wsl.<\/p>\n<pre><code># \u043a\u043b\u043e\u043d\u0438\u0440\u0443\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0441 openchat git lfs install git clone https:\/\/huggingface.co\/openchat\/openchat_3.5  # \u043a\u043b\u043e\u043d\u0438\u0440\u0443\u0435\u043c llama.cpp \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0435\u0451 \u043f\u0430\u043f\u043a\u0443 git clone https:\/\/github.com\/ggerganov\/llama.cpp.git cd llama.cpp  # \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0432\u0441\u0435 \u043d\u0443\u0436\u043d\u044b\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0438 make # \u0435\u0441\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438 cmake, \u0442\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 cmake, \u0432\u043c\u0435\u0441\u0442\u043e make  # \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 pip install -r requirements.txt  # \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0430\u043c\u0443 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e python3 convert.py ..\/openchat_3.5\/  --outfile openchat_3.5-f16.gguf  # \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 5bit \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0435 .\/quantize openchat_3.5-f16.gguf openchat_3.5-q5_K_M.gguf q5_K_M<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b\u044b openchat_3.5-f16.gguf \u0438 openchat_3.5-q5_K_M.gguf &#8212; \u043f\u0435\u0440\u0432\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c 15\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 &#8212; 6.3\u0433\u0431.<\/p>\n<p>\u041a\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0431\u0440\u0430\u0442\u044c &#8212; <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\/discussions\/406\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/ggerganov\/llama.cpp\/discussions\/406<\/a> \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u044d\u0442\u043e q4_K_M, \u0433\u0434\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 1% \u043f\u043e\u0442\u0435\u0440\u044c, \u043d\u043e \u0435\u0441\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c q5_K_M. \u0426\u0438\u0442\u0430\u0442\u0430 \u043e\u0442\u0442\u0443\u0434\u0430:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>+ppl &#8212; \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e f16.<br \/>+ppl % &#8212; \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<br \/>+ppl \u043e\u0442 13b \u0434\u043e 7b % &#8212; \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 13b \u043a \u043c\u043e\u0434\u0435\u043b\u0438 7b.<\/figcaption><\/div>\n<\/figure>\n<h2>\u0413\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0434\u043b\u044f text2text \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h2>\n<p>\u0415\u0441\u0442\u044c \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 text2text \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c, \u0432\u043a\u043b\u044e\u0447\u0430\u044f AMD \u043d\u0430 Windows: <\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/oobabooga\/text-generation-webui\" rel=\"noopener noreferrer nofollow\">text-generation-webui<\/a> &#8212; \u0434\u043b\u044f \u0442\u0435\u0445 \u043a\u043e\u043c\u0443 \u043f\u0440\u0438\u0432\u044b\u0447\u0435\u043d \u043f\u043e\u0434\u0445\u043e\u0434 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u0434\u043b\u044f stable diffusion, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0441\u0435\u0440\u0432\u0435\u0440, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0441\u0441\u044b\u043b\u043a\u0430 \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430 \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/LostRuins\/koboldcpp\" rel=\"noopener noreferrer nofollow\">koboldcpp<\/a> &#8212; \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f exe \u0444\u0430\u0439\u043b \u0438 \u0440\u0430\u0431\u043e\u0442\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435, \u0434\u043b\u044f Nvidia \u043a\u0430\u0440\u0442, \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 CUDA.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/YellowRoseCx\/koboldcpp-rocm\/releases\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/YellowRoseCx\/koboldcpp-rocm\/releases<\/a> &#8212; koboldcpp \u0434\u043b\u044f AMD \u043d\u0430 Windows. \u0421\u0431\u043e\u0440\u043a\u0430 \u0441 ROCm, \u0432\u043c\u0435\u0441\u0442\u043e CUDA.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/nuance1979\/llama-server\" rel=\"noopener noreferrer nofollow\">llama server<\/a> &#8212; \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0434\u043b\u044f <a href=\"https:\/\/github.com\/mckaywrigley\/chatbot-ui\" rel=\"noopener noreferrer nofollow\">Chatbot UI<\/a>, \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u043a\u0430\u043a \u0443 chatGPT.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/imoneoi\/openchat-ui#-running-locally\" rel=\"noopener noreferrer nofollow\">open-chat-ui<\/a> &#8212; \u0437\u0430\u043f\u0443\u0441\u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 UI \u0434\u043b\u044f OpenChat \u043a\u0430\u043a \u043d\u0430 \u0438\u0445 \u0441\u0430\u0439\u0442\u0435 \u043e\u043d\u043b\u0430\u0439\u043d.<\/p>\n<\/li>\n<\/ul>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c LLaVA<\/h2>\n<p>\u0425\u043e\u0442\u044f \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e LLaVA \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0430\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434 Linux, \u043d\u043e \u0434\u043b\u044f Windows \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/haotian-liu\/LLaVA\/blob\/main\/docs\/Windows.md\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/haotian-liu\/LLaVA\/blob\/main\/docs\/Windows.md<\/a> &#8212; \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f f16 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0442\u044f\u0436\u0435\u043b\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043a \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 Linux).<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e llama.cpp, \u0442\u0430\u043c \u0432 \u043d\u0430\u0431\u043e\u0440\u0435 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c llava. \u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 cpu\/gpu. \u041d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438 \u0441\u0430\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 mmproj \u043c\u043e\u0434\u0435\u043b\u044c (\u043a\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0436\u0435 \u043d\u0430 huggingface). \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<p><code>.\/llava-cli -m models\/llava\/llava-v1.5-7b-Q4_K.gguf --mmproj models\/llava\/llava-v1.5-7b-mmproj-Q4_0.gguf --image 01.jpg<\/code><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 -p, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u0430 \u043f\u0438\u043d\u0433\u0432\u0438\u043d:<\/p>\n<p><code>.\/llava-cli -m models\/llava\/llava-v1.5-7b-Q4_K.gguf --mmproj models\/llava\/llava-v1.5-7b-mmproj-Q4_0.gguf --image red_linux.jpg -p \"what colour is the penguin?\"<\/code><\/p>\n<\/li>\n<li>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/github.com\/oobabooga\/text-generation-webui\/tree\/main\/extensions\/multimodal\" rel=\"noopener noreferrer nofollow\">text-generation-webui multimodal<\/a>, \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u043d\u043e \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u043e\u0437\u0438\u0442\u0441\u044f \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0442\u0438\u043f\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0417\u0430\u043f\u0443\u0441\u043a \u043d\u0430 Windows \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043d\u0430 AMD \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u0445<\/h2>\n<p>ROCm &#8212; \u044d\u0442\u043e \u0430\u043d\u0430\u043b\u043e\u0433 CUDA \u043e\u0442 AMD. \u041f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 ROCm \u043d\u0430 Windows \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442\u0441\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c Blender \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u043d\u0430 ROCm. \u0418 \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043a \u0434\u043b\u044f koboldcpp \u0441 ROCm, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u043e\u0436\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0421\u043f\u0430\u0441\u0438\u0431\u043e <a class=\"mention\" href=\"\/users\/drxak\">@DrXak<\/a>\u0437\u0430 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0443, \u0447\u0442\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f Windows.<\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0444\u0430\u0439\u043b <code>koboldcpp_rocm_only.exe<\/code> \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0433\u043e, \u0442\u0430\u043c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e GPU \u0441\u043b\u043e\u0435\u0432 (\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438):<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0442\u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0439\u0442\u0438 \u043f\u043e\u043b\u0435 \u0434\u043b\u044f \u0432\u0432\u043e\u0434\u0430 \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u043d\u0430\u0439\u0442\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e Instruct Mode \u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0434\u043b\u044f \u043e\u0442\u044b\u0433\u0440\u044b\u0448\u0430 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0435\u0439. \u0414\u043b\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0436\u0438\u043c\u0430\u0442\u044c Generate More.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 7900 xtx \u043d\u0435 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 4090, 66 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443:<\/p>\n<figure class=\"full-width\"><\/figure>\n<h2>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a text-generation-webui<\/h2>\n<p>\u0420\u0430\u043d\u044c\u0448\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0431\u044b\u043b\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439, \u043d\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 1 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c <code>start_windows.bat<\/code> \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u0441\u0451 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u043e.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c zip-\u0430\u0440\u0445\u0438\u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f \u0438\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c:<\/p>\n<p><code>git clone https:\/\/github.com\/oobabooga\/text-generation-webui<\/code> <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0438 \u0430\u0440\u0445\u0438\u0432\u0430 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u0432 \u043f\u0430\u043f\u043a\u0443, \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0434 Windows, \u0442\u043e \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>start_windows.bat<\/code>, \u0438\u043b\u0438 <code>start_linux.sh<\/code> \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0434 Linux.<\/p>\n<p>\u041f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0432\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0430\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0430 \u0447\u0435\u043c \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c, \u043d\u0430 GPU \u0438\u043b\u0438 CPU. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430, \u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 GPU, \u0434\u0430\u0436\u0435 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435 \u0441 4\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0439, \u0430 \u0447\u0430\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u043d\u0430 CPU. <\/p>\n<p>\u0414\u043b\u044f AMD \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u043f\u043e\u043a\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f ROCm \u043f\u043e\u0434 Linux. \u0420\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0434 \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c ROCm \u043f\u043e\u0434 Windows \u0432\u0435\u0434\u0443\u0442\u0441\u044f. <\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0443 models \u0438 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c gguf \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c llama.cpp \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430. <\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0442\u0443\u0442 \u043c\u043e\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0435\u0432 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u043d\u0430 GPU, \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u0431\u044a\u0435\u043c\u043e\u043c \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. <\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u043e\u043b\u0437\u0443\u043d\u043e\u043a \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c, \u0442\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0438 \u043f\u043e\u0441\u043b\u0435 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u0445\u043e\u0447\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u0432\u0438\u0434\u0435\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0436\u0430\u0442\u044c Load \u0438 \u043d\u0430\u0447\u043d\u0435\u0442\u0441\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043f\u0443\u0441\u0442\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043d\u0430\u0434\u043f\u0438\u0441\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u0430. <\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0412 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u0442\u044c 2048 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043d\u0430\u0436\u0438\u043c\u0430\u0442\u044c &#171;Continue&#187; \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432\u0441\u0435\u0433\u043e 200 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043b\u0438\u043f\u0430\u0442\u044c \u043d\u0430 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u043e\u0442\u0432\u0435\u0442\u0430. \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0447\u0430\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u043a\u043e\u0433\u0434\u0430 \u0445\u043e\u0442\u0438\u0442\u0435 \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u0435\u043c\u0443 \u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0442\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043d\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0443 Chat \u0438 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u0434\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0430\u043d\u0430\u043b\u0438\u0437:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>Chat \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 3 \u0440\u0435\u0436\u0438\u043c\u0430\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e: chat, chat-instruct \u0438 instruct, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d chat. \u0412 \u0440\u0435\u0436\u0438\u043c\u0435 chat \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u0432\u0437\u0438\u0440\u0430\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0432\u044b \u0443 \u043d\u0435\u0451 \u043f\u0440\u043e\u0441\u0438\u0442\u0435. <\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0438\u0441\u0430\u043b\u0430 \u0432 \u043e\u0442\u0432\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434, \u0431\u0435\u0437 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0440\u0435\u0436\u0438\u043c chat-instruct \u0438\u043b\u0438 instruct:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 todo \u043d\u0430 js:<\/p>\n<figure class=\"full-width\"><\/figure>\n<figure class=\"full-width\">\n<div><figcaption>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0447\u0438\u0439, \u043a\u043d\u043e\u043f\u043a\u0430 X \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u0435\u0442, \u0441\u0430\u043c\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e 7B \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041e\u0442\u0432\u0435\u0442 \u0432\u0435\u0440\u043d\u044b\u0439<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u0417\u0430\u043f\u0440\u043e\u0441: \u043d\u0430\u043f\u0438\u0448\u0438 flutter \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u0442 \u043c\u0435\u0441\u0441\u0435\u043d\u0434\u0436\u0435\u0440:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 OpenChat 7B Q5, \u043d\u0430 4090 66 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443<\/figcaption><\/div>\n<\/figure>\n<h2>\u041a\u0430\u043a<\/h><\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-361179","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/361179","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=361179"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/361179\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=361179"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=361179"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=361179"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}