{"id":437750,"date":"2024-11-07T21:20:39","date_gmt":"2024-11-07T21:20:39","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=437750"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=437750","title":{"rendered":"<span>\u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c Pixtral12B \u0438 LLaMA 3.2 11B \u043d\u0430 \u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0445 Tesla P100 \u0438 P40<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/d07\/ff9\/b06\/d07ff9b0665aa94820e79a1969ab4ff0.jpg\" alt=\"\u0421\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 \u043f\u0440\u043e\u0433\u0443\u043b\u043a\u0435\" title=\"\u0421\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 \u043f\u0440\u043e\u0433\u0443\u043b\u043a\u0435\" width=\"4240\" height=\"2832\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d07\/ff9\/b06\/d07ff9b0665aa94820e79a1969ab4ff0.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u0421\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 \u043f\u0440\u043e\u0433\u0443\u043b\u043a\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u0421 \u0432\u0430\u043c\u0438 \u0441\u043d\u043e\u0432\u0430 ServerFlow, \u0438 \u043c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043d\u0430\u0448 \u043d\u043e\u0432\u044b\u0439 \u0446\u0438\u043a\u043b \u0441\u0442\u0430\u0442\u0435\u0439 \u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 GPU. \u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0446\u0438\u043a\u043b\u0430 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u0439 \u0434\u043b\u044f\u00a0\u043d\u0430\u0441 \u0442\u0435\u043c\u043e\u0439\u00a0\u2014 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438, \u0430\u00a0\u0438\u043c\u0435\u043d\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 LLM. \u0412\u00a0\u0441\u0435\u043d\u0442\u044f\u0431\u0440\u0435\u2011\u043e\u043a\u0442\u044f\u0431\u0440\u0435, \u0441\u0443\u0434\u044f \u043f\u043e\u00a0\u043d\u043e\u0432\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0448\u0435\u043b \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0431\u043e\u0433\u0430\u0442\u044b\u0439 \u0443\u0440\u043e\u0436\u0430\u0439 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435, \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u0431\u0443\u0434\u0435\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 <strong>Pixtral 12B<\/strong> \u0438 <strong>LLaMA 32 11B<\/strong>, \u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0438\u0445 \u0431\u0443\u0434\u0435\u043c \u043d\u0430 \u0434\u0432\u0443\u0445 \u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0445 \u0438 \u043b\u0435\u0433\u043a\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043d\u0430 \u0411\/\u0423 \u0440\u044b\u043d\u043a\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u0445 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u2013 <strong>Nvidia Tesla P100<\/strong> \u0438 <strong>P40<\/strong>. \u041e\u0434\u043d\u0430\u043a\u043e, \u0435\u0441\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c GPU \u043c\u044b \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0438, \u0442\u043e \u0432\u043e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 LLM \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0445 \u043d\u0430\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0438\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432 \u0432 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u043c Blender. \u0422\u0430\u043a \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0451 \u044d\u0442\u043e \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0431\u0443\u0434\u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437, \u0442\u043e \u0432\u0430\u043c \u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f. \u041d\u043e \u043d\u0430\u0434\u0435\u0435\u043c\u0441\u044f \u0437\u0430\u0442\u043e \u043d\u0430\u0448 \u043f\u0440\u0438\u043c\u0435\u0440 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u0442\u0435\u043c, \u043a\u0442\u043e \u0442\u0430\u043a \u0436\u0435 \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437 \u0437\u0430\u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<h3>\u041d\u0430\u0447\u0438\u043d\u0430\u0435\u043c<\/h3>\n<p>\u0412 ServerFlow \u043c\u044b \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u043d\u0430\u0447\u0430\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <strong>Pixtral 12B<\/strong> \u0438 <strong>LLaMA 3.2 11B<\/strong>, \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0445 \u0432 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u0435. \u041e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438 Open Source, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0442\u0435\u043c, \u0447\u0442\u043e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432 \u0441\u0432\u043e\u0438\u0445 \u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043e\u043d\u0438 \u0441\u0442\u0430\u043b\u0438 <strong>\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u043c\u0438<\/strong>, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e \u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041e\u0434\u043d\u0430\u043a\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043e\u0432\u0441\u0435\u043c \u0441\u0432\u0435\u0436\u0438\u0435, \u043c\u044b \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0441 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0441 \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0438\u0445 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043b\u0438\u0431\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u044f\u0441\u043d\u0438\u0442\u044c, \u0447\u0442\u043e <strong>\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u00a0\u043d\u043e\u0432\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c, \u043d\u043e\u00a0\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0435 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u044d\u0442\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442. \u0422\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u00ab\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u2011\u0434\u0432\u0438\u0436\u043a\u0430\u043c\u0438\u00bb. \u041e\u043d\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u0437\u0430\u00a0\u0442\u043e, \u043a\u0430\u043a\u00a0\u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432\u00a0\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0438 \u043a\u0430\u043a\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437\u00a0\u043d\u0435\u0451 \u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f. \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u2011\u0434\u0432\u0438\u0436\u043a\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0432\u00a0\u0446\u0435\u043b\u043e\u043c.<\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043c\u043d\u043e\u0433\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0440\u043e\u043b\u044c \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u043e\u0432 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u041e\u043d\u0438 \u0447\u0430\u0441\u0442\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0434\u043b\u044f\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f\u00a0\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0412\u00a0\u043d\u0430\u0448\u0435\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438, \u0447\u0442\u043e\u00a0\u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 <strong>llama.cpp<\/strong> \u043d\u0435\u00a0\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438, \u0447\u0442\u043e\u00a0\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f\u00a0\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412 <strong>Ollama<\/strong> \u043d\u0443\u0436\u043d\u044b\u0445 \u043d\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c. <\/p>\n<p>\u041f\u043e\u043f\u044b\u0442\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <strong>Mistral.rs<\/strong> \u043d\u0430\u00a0\u043d\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 EndeavourOS (\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u00a0Arch Linux) \u0438 vLLM \u0447\u0435\u0440\u0435\u0437 Docker \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u00a0\u0443\u0432\u0435\u043d\u0447\u0430\u043b\u0438\u0441\u044c \u0443\u0441\u043f\u0435\u0445\u043e\u043c. \u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0434\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 HuggingFace, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u0431\u0435\u0437\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0441\u0430\u043c\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0444\u0430\u0439\u043b \u043d\u0430\u00a0\u043c\u043d\u043e\u0433\u043e \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0430\u043c \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0441\u0434\u0435\u043b\u0430\u0435\u0442. \u0422\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438 \u043e\u0434\u0438\u043d \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u043f\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 Open Source\u00a0\u2014 <strong>ComfyUI<\/strong>. \u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0434\u0443\u043c\u0430\u043b\u0438 \u043e\u043d \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f\u00a0\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u0442\u0438\u043f\u0443 StableDiffusion, \u043d\u043e\u00a0\u043a\u0430\u043a\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0438 \u0434\u043b\u044f\u00a0\u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043d \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e\u00a0\u043c\u044b \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430\u00a0\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439\u00a0\u2014 4-\u0431\u0438\u0442\u043d\u044b\u0445 \u0438 8-\u0431\u0438\u0442\u043d\u044b\u0445. \u042d\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043e \u0442\u0435\u043c, \u0447\u0442\u043e\u00a0\u043e\u0431\u044a\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432\u00a0\u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 12\u201316\u00a0\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u00a0\u043d\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0432\u0435\u0440\u0441\u0438\u044f\u043c Pixtral \u0438 LLaMA \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 24\u00a0\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u0414\u0430\u00a0\u0438 \u0432\u00a0\u0440\u0430\u043c\u043a\u0430\u0445 \u043d\u0430\u0448\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430, \u043c\u044b\u00a0\u0431\u044b \u0442\u043e\u0433\u0434\u0430\u00a0\u0431\u044b\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e P40\u00a0\u0441\u00a0\u0435\u0451 24\u00a0\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u043c\u0438 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0430\u00a0P100\u00a0\u0432\u00a0\u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u044b\u043b\u0430\u00a0\u0431\u044b \u0438\u0437\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0435\u0451 \u0432\u0441\u0435\u0433\u043e 16 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u0443\u0434\u0430 \u0431\u044b \u043f\u043e\u043b\u043d\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043d\u0435 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043b\u0430\u0441\u044c.<\/p>\n<h4>\u041d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442 \u0442\u0435\u0441\u0442\u043e\u0432 \u0431\u0435\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e-\u0441\u0442\u0435\u043d\u0434\u0430<\/h4>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/46b\/9fa\/51f\/46b9fa51fe0c18a96b4c2363a6ed8143.jpg\" alt=\"\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434\" title=\"\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434\" width=\"4240\" height=\"2832\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46b\/9fa\/51f\/46b9fa51fe0c18a96b4c2363a6ed8143.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0435 \u0437\u0430\u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u0441\u0442\u0435\u043d\u0434\u0435 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u0412\u043c\u0435\u0441\u0442\u043e \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0441\u0442\u0435\u043d\u0434 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0441\u043c\u0435\u043d\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439. \u0412\u043e\u0442 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043d\u0430\u0448\u0435\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u043d\u0441\u043a\u0430\u044f \u043f\u043b\u0430\u0442\u0430: Supermicro H11SSL-I (Rev 2.0)<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440: AMD EPYC\u2122 7502 (32 \u044f\u0434\u0440\u0430 \/ 64 \u043f\u043e\u0442\u043e\u043a\u0430, 2.5GHz-3.35GHz, 180W, 128MB L3)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u044f: 4U \u0431\u0430\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0438\u043f\u0430 c TDP 240W<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c: 128GB (8 x 16GB, 3200 MHz, ECC REG)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044c: Samsung PM9A1 1TB<\/p>\n<\/li>\n<li>\n<p>\u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 1: NVIDIA Tesla P40 (24GB GDDR5)<\/p>\n<\/li>\n<li>\n<p>\u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 2: NVIDIA Tesla P100 (16GB HBM2)<\/p>\n<\/li>\n<li>\n<p>\u0411\u043b\u043e\u043a \u043f\u0438\u0442\u0430\u043d\u0438\u044f: Cougar BXM 1000 [CGR BX-1000]<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e Python \u0438 pip<\/h4>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fb3\/fea\/7e8\/fb3fea7e8bd38c16c38cb06b21ac9f60.png\" alt=\"\u041b\u043e\u0433\u043e\u0442\u0438\u043f \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430 PIP\" title=\"\u041b\u043e\u0433\u043e\u0442\u0438\u043f \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430 PIP\" width=\"496\" height=\"496\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fb3\/fea\/7e8\/fb3fea7e8bd38c16c38cb06b21ac9f60.png\"\/><\/p>\n<div><figcaption>\u041b\u043e\u0433\u043e\u0442\u0438\u043f \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430 PIP<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 ServerFlow \u043c\u044b \u0443\u0434\u0435\u043b\u044f\u0435\u043c \u043e\u0441\u043e\u0431\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0Python \u0438 \u0435\u0433\u043e \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u043c \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u043e\u043c <strong>pip<\/strong>. \u041d\u043e\u00a0\u043a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043c\u043d\u043e\u0433\u0438\u0435 \u043e\u043d\u043b\u0430\u0439\u043d\u2011\u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f\u00a0Linux \u0438 Windows \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0432\u00a0\u043e\u0431\u0449\u0435\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a\u00a0\u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c.<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0435\u0431\u0435, \u0447\u0442\u043e\u00a0\u0432\u0430\u0448\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u00a0\u2014 \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e\u043a\u0432\u0430\u0440\u0442\u0438\u0440\u043d\u044b\u0439 \u0434\u043e\u043c. Python \u0432\u00a0\u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u00a0\u2014 \u043e\u0434\u0438\u043d \u0438\u0437\u00a0\u0435\u0433\u043e \u0432\u0430\u0436\u043d\u044b\u0445 \u0436\u0438\u043b\u044c\u0446\u043e\u0432. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 pip \u0432\u00a0\u043e\u0431\u0449\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043f\u043e\u0434\u043e\u0431\u043d\u0430 \u0442\u043e\u043c\u0443, \u043a\u0430\u043a\u00a0\u0435\u0441\u043b\u0438\u00a0\u0431\u044b \u0432\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 \u044d\u0442\u043e\u043c\u0443 \u0436\u0438\u043b\u044c\u0446\u0443 \u0431\u0435\u0441\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u043e\u043c\u0430. \u0420\u0430\u043d\u043e \u0438\u043b\u0438\u00a0\u043f\u043e\u0437\u0434\u043d\u043e \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a\u00a0\u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430\u043c \u0438 \u043f\u043e\u043b\u043e\u043c\u043a\u0430\u043c. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043e\u0441\u0442\u0440\u043e \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0442\u043e\u0438\u0442 \u0432\u00a0Linux, \u0433\u0434\u0435 Python \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u00a0\u043e\u0431\u0449\u0435\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0445 \u043f\u0430\u043a\u0435\u0442\u0430\u0445 Python \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u0440\u0443\u0448\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0430\u043c\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0447\u0442\u043e\u00a0\u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u0441\u00a0\u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430 \u043d\u0430\u0448\u0435\u0433\u043e \u0432\u043e\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u043c\u043e\u0433\u043e \u0434\u043e\u043c\u0430. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u2011\u044d\u0442\u043e\u043c\u0443, \u043c\u044b \u0441\u0442\u0430\u0440\u0430\u0435\u043c\u0441\u044f \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430.<\/p>\n<p>Arch Linux, \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c, \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0441\u00a0\u043e\u0441\u043e\u0431\u043e\u0439 \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e, \u0445\u043e\u0442\u044f \u0438 \u0438\u043c\u0435\u0435\u0442 \u0441\u043b\u0430\u0432\u0443 \u043d\u0435 \u00ab\u043c\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0435\u0431\u0435 \u043f\u0430\u043b\u043a\u0438 \u0432\u00a0\u043a\u043e\u043b\u0451\u0441\u0430\u00bb. \u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u043f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u00a0Arch Linux pip \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u0442\u0443, \u0430\u00a0\u043f\u043e\u0441\u043b\u0435 \u0435\u0433\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 <code>sudo pacman\u2011S python\u2011pip<\/code>, Arch \u043d\u0435\u00a0\u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u00a0\u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f venv. \u042d\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430\u00a0\u0442\u043e, \u043a\u0430\u043a\u00a0\u0435\u0441\u043b\u0438\u00a0\u0431\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0434\u043e\u043c\u0430 \u0437\u0430\u043f\u0440\u0435\u0442\u0438\u043b\u0430 \u0436\u0438\u043b\u044c\u0446\u0430\u043c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u0438, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u0438\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u044b \u043f\u043e\u00a0\u0441\u0432\u043e\u0435\u043c\u0443 \u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u044e. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 Arch Linux \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u043c \u043d\u0430\u00a0\u0444\u043e\u043d\u0435 \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0433\u0430\u0439\u0434\u044b \u0438 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u044b \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 venv, \u043d\u043e\u00a0\u043e\u043d \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u00a0\u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e\u0439 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435.<\/p>\n<p><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7d5\/d98\/eca\/7d5d98ecab8aa770258fa5620ad37e54.png\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u0438, \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pip \u043d\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 venv, \u043d\u0430 \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432\u0435 EndeavourOS, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u043c \u043e\u0442 Arch Linux\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u0438, \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pip \u043d\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 venv, \u043d\u0430 \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432\u0435 EndeavourOS, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u043c \u043e\u0442 Arch Linux\" width=\"979\" height=\"330\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d5\/d98\/eca\/7d5d98ecab8aa770258fa5620ad37e54.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u0438, \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pip \u043d\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 venv, \u043d\u0430 \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432\u0435 EndeavourOS, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u043c \u043e\u0442 Arch Linux<\/figcaption><\/div>\n<\/figure>\n<h3>Pixtral 12B<\/h3>\n<ul>\n<li>\n<p><a href=\"https:\/\/mistral.ai\/news\/pixtral-12b\/\" rel=\"noopener noreferrer nofollow\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/a> \u043c\u043e\u0434\u0435\u043b\u0438 Pixtral<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 pip \u043d\u0430 \u043d\u0430\u0448 \u0441\u0435\u0440\u0432\u0435\u0440. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043c\u0441\u044f \u043a \u043d\u0435\u043c\u0443 \u043f\u043e SSH \u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u0440\u043e\u0431\u0440\u043e\u0441\u0438\u043c \u043f\u043e\u0440\u0442 8188 \u0441 \u043d\u0435\u0433\u043e \u043d\u0430 \u043d\u0430\u0448\u0443 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0449\u0435 \u0431\u044b\u043b\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f WebUI \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u043a.<\/p>\n<pre><code class=\"bash\">ssh -L 8188:127.0.0.1:8188 -p 47645 serverflow@IP_SSH_\u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/code><\/pre>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c pip \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 Pacman.<\/p>\n<pre><code class=\"bash\">sudo pacman -S python-pip<\/code><\/pre>\n<p>\u0418 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0440\u0430\u0437\u0443 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c venv.<\/p>\n<pre><code class=\"bash\">python3 -m venv pixtral  source pixtral\/bin\/activate<\/code><\/pre>\n<p>\u0418 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0432\u0441\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<pre><code class=\"bash\">pip install --upgrade pip  pip install torch transformers bitsandbytes accelerate gradio huggingface_hub numpy pillow requests<\/code><\/pre>\n<p>\u0418 \u0437\u0430\u043b\u043e\u0433\u0438\u043d\u0438\u043c\u0441\u044f \u0432 huggingface-cli, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0443 \u0432\u0430\u0441 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0430 \u0443\u0447\u0451\u0442\u043a\u0430 \u043d\u0430 HuggingFace \u0438 \u0441\u043e\u0437\u0434\u0430\u043d \u0442\u0430\u043c \u0442\u043e\u043a\u0435\u043d \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u0432\u043e\u0434\u0438\u0442\u0435 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u044c \u0443\u0436\u0435 \u043d\u0430 ssh \u0441\u0435\u0440\u0432\u0435\u0440\u0435. \u041c\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0438 \u0431\u0435\u0437 HuggingFace, \u0434\u0435\u043b\u0430\u044f \u0432\u0441\u0451 \u0431\u043e\u043b\u0435\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c, \u043e\u0434\u043d\u0430\u043a\u043e, \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0435 \u0443\u0441\u043b\u043e\u0436\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430.<\/p>\n<pre><code>huggingface-cli login<\/code><\/pre>\n<p>\u041a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u0440\u0430\u043d\u0435\u0435, \u0437\u0430 \u043d\u0435\u0438\u043c\u0435\u043d\u0438\u0435\u043c, \u043b\u0438\u0431\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u043d\u0430 Python.\u00a0<\/p>\n<details class=\"spoiler\">\n<summary>main_log.py<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import gradio as gr  from transformers import LlavaForConditionalGeneration, AutoProcessor, BitsAndBytesConfig, logging as transformers_logging  import torch  from PIL import Image  import requests  from io import BytesIO  import logging  import time  # Enable transformers logging at INFO level to see tokens per second and other performance info  transformers_logging.set_verbosity_info()  # Optionally, configure your own logger if you want additional control  logging.basicConfig(level=logging.INFO)  # Define the quantization config  quantization_config = BitsAndBytesConfig(  \u00a0\u00a0\u00a0\u00a0load_in_4bit=True,  \u00a0\u00a0\u00a0\u00a0bnb_4bit_compute_dtype=torch.bfloat16,  \u00a0\u00a0\u00a0\u00a0bnb_4bit_quant_type=\"nf4\"  )  # Model and processor ID  model_id = \"Ertugrul\/Pixtral-12B-Captioner-Relaxed\"  # Load the model with 4-bit quantization  model = LlavaForConditionalGeneration.from_pretrained(  \u00a0\u00a0\u00a0\u00a0model_id,  \u00a0\u00a0\u00a0\u00a0device_map=\"auto\",  \u00a0\u00a0\u00a0\u00a0torch_dtype=torch.bfloat16,  \u00a0\u00a0\u00a0\u00a0quantization_config=quantization_config  )  # Load the processor  processor = AutoProcessor.from_pretrained(model_id)  # Define image resizing function  def resize_image(image, target_size=768):  \u00a0\u00a0\u00a0\u00a0\"\"\"Resize the image to have the target size on the shortest side.\"\"\"  \u00a0\u00a0\u00a0\u00a0width, height = image.size  \u00a0\u00a0\u00a0\u00a0if width &lt; height:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_width = target_size  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_height = int(height * (new_width \/ width))  \u00a0\u00a0\u00a0\u00a0else:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_height = target_size  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_width = int(width * (new_height \/ height))  \u00a0\u00a0\u00a0\u00a0return image.resize((new_width, new_height), Image.LANCZOS)  # Define the Gradio inference function  def process_input(text_prompt, image_url):  \u00a0\u00a0\u00a0\u00a0# Fetch the image from the URL  \u00a0\u00a0\u00a0\u00a0try:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0response = requests.get(image_url)  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0response.raise_for_status()\u00a0 # Ensure the request was successful  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0image = Image.open(BytesIO(response.content))  \u00a0\u00a0\u00a0\u00a0except requests.exceptions.RequestException as e:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0return f\"\u041d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u043e URL: {e}\", \"\"  \u00a0\u00a0\u00a0\u00a0image = resize_image(image, 768)\u00a0 # Resize for optimal processing  \u00a0\u00a0\u00a0\u00a0# Prepare conversation with the user prompt and image  \u00a0\u00a0\u00a0\u00a0conversation = [  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"role\": \"user\",  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"content\": [  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\"type\": \"text\", \"text\": f\"{text_prompt}\\n\"},  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\"type\": \"image\"}  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0],  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}  \u00a0\u00a0\u00a0\u00a0]  \u00a0\u00a0\u00a0\u00a0PROMPT = processor.apply_chat_template(conversation, add_generation_prompt=True)  \u00a0\u00a0\u00a0\u00a0inputs = processor(text=PROMPT, images=image, return_tensors=\"pt\").to(\"cuda\")  \u00a0\u00a0\u00a0\u00a0# Start time for inference  \u00a0\u00a0\u00a0\u00a0start_time = time.time()  \u00a0\u00a0\u00a0\u00a0# Generate response using the model with specified parameters  \u00a0\u00a0\u00a0\u00a0with torch.no_grad():  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0with torch.autocast(device_type=\"cuda\", dtype=torch.bfloat16):  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0generate_ids = model.generate(  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0**inputs,  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0max_new_tokens=256,\u00a0 # Equivalent to n_predict  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0temperature=0.7,\u00a0 # As specified  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0top_k=40,\u00a0 # As specified  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0top_p=0.5,\u00a0 # Nucleus sampling  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0repetition_penalty=1.176470,\u00a0 # Repetition penalty  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0no_repeat_ngram_size=256\u00a0 # Approximate repeat_last_n with repetition window  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0)  \u00a0\u00a0\u00a0\u00a0# End time for inference  \u00a0\u00a0\u00a0\u00a0end_time = time.time()  \u00a0\u00a0\u00a0\u00a0inference_time = end_time - start_time\u00a0 # Calculate inference time  \u00a0\u00a0\u00a0\u00a0# Decode the output  \u00a0\u00a0\u00a0\u00a0output_text = processor.batch_decode(  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0generate_ids[:, inputs.input_ids.shape[1]:],  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0skip_special_tokens=True,  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0clean_up_tokenization_spaces=True  \u00a0\u00a0\u00a0\u00a0)[0]  \u00a0\u00a0\u00a0\u00a0# Add inference time to output  \u00a0\u00a0\u00a0\u00a0return f\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438:\\n{output_text}\\n\\n\u0412\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430: {inference_time:.2f} \u0441\u0435\u043a\u0443\u043d\u0434\", f'&lt;img src=\"{image_url}\" alt=\"\u0412\u0445\u043e\u0434\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435\" width=\"300\"&gt;'  # Gradio interface setup  with gr.Blocks() as demo:  \u00a0\u00a0\u00a0\u00a0title = gr.Markdown(\"## \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 Pixtral\")  \u00a0\u00a0\u00a0\u00a0with gr.Row():  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0text_input = gr.Textbox(label=\"\u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441\", placeholder=\"\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: \u041e\u043f\u0438\u0448\u0438\u0442\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435.\")  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0image_input = gr.Textbox(label=\"URL \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\", value=\"https:\/\/huggingface.co\/spaces\/aixsatoshi\/Pixtral-12B\/resolve\/main\/llamagiant.jpg\")  \u00a0\u00a0\u00a0\u00a0# Initial image display  \u00a0\u00a0\u00a0\u00a0result_output = gr.Textbox(label=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438\", lines=8, max_lines=20)  \u00a0\u00a0\u00a0\u00a0image_output = gr.HTML('&lt;img src=\"https:\/\/huggingface.co\/spaces\/aixsatoshi\/Pixtral-12B\/resolve\/main\/llamagiant.jpg\" alt=\"\u0412\u0445\u043e\u0434\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435\" width=\"300\"&gt;')  \u00a0\u00a0\u00a0\u00a0submit_button = gr.Button(\"\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\")  \u00a0\u00a0\u00a0\u00a0submit_button.click(process_input, inputs=[text_input, image_input], outputs=[result_output, image_output])  demo.launch()<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <strong>transformers<\/strong> \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f 4-\u0431\u0438\u0442\u043d\u0443\u044e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043c\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438. \u0424\u0443\u043d\u043a\u0446\u0438\u044f LlavaForConditionalGeneration.from_pretrained() \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 AutoProcessor \u043f\u043e\u0434\u0433\u043e\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<p>\u041f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e processor() \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044c. \u0424\u0443\u043d\u043a\u0446\u0438\u044f model.generate() \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d*, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0443\u0447\u0435\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. PyTorch \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 GPU, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044f \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c.<\/p>\n<ul>\n<li>\n<p>\u0422\u043e\u043a\u0435\u043d\u044b\u00a0\u2014 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u0438, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043a\u0441\u0442. \u042d\u0442\u043e \u043d\u0435\u00a0\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0446\u0435\u043b\u044b\u0435 \u0441\u043b\u043e\u0432\u0430; \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u043c\u043e\u0433\u0443\u0442\u00a0\u0431\u044b\u0442\u044c \u0447\u0430\u0441\u0442\u0438 \u0441\u043b\u043e\u0432, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438\u043b\u0438\u00a0\u0434\u0430\u0436\u0435 \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u043e\u0432\u043e \u00ab\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u00bb \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0442\u043e \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u044b \u00ab\u043d\u0435\u0439\u00bb, \u00ab\u0440\u043e\u0441\u0435\u00bb \u0438 \u00ab\u0442\u044c\u00bb. \u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u044d\u0442\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430\u00a0\u043d\u0435\u00a0\u0441\u00a0\u0446\u0435\u043b\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438.<\/p>\n<p>\u0427\u0442\u043e\u00a0\u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f Gradio, \u044d\u0442\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0435\u0431\u2011\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u0432\u0432\u043e\u0434\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0438 URL \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0431\u0440\u0430\u0443\u0437\u0435\u0440. Gradio \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 HTTP\u2011\u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e process_input() \u043f\u0440\u0438 \u043d\u0430\u0436\u0430\u0442\u0438\u0438 \u043a\u043d\u043e\u043f\u043a\u0438 \u0438 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c Pixtral 12B 4bit \u043d\u0430 P100 &#8212;\u00a0<\/h4>\n<pre><code class=\"bash\">\u00a0CUDA_VISIBLE_DEVICES=0 python main_log.py<\/code><\/pre>\n<p>\u0412 \u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 WebUI, \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0436\u043c\u0438\u0442\u0435 \u043d\u0430 \u043d\u0435\u0451 &#8212; <\/p>\n<pre><code class=\"bash\">* Running on local URL:\u00a0 http:\/\/127.0.0.1:7860<\/code><\/pre>\n<p>\u0423\u0440\u0430, WebUI \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0441\u044f! \u0410 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c.<\/p>\n<p>\u0414\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430\u00a0GPU \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0443\u0442\u0438\u043b\u0438\u0442\u0443 <strong>nvtop<\/strong>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043b\u0435\u0433\u043a\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 Pacman \u0432\u00a0Arch Linux\u00a0\u2014 <code>sudo pacman \u2011S nvtop<\/code>.<br \/><strong>Nvtop<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u0430\u043d\u0430\u043b\u043e\u0433 \u0434\u0438\u0441\u043f\u0435\u0442\u0447\u0435\u0440\u0430 \u0437\u0430\u0434\u0430\u0447 \u0432\u00a0Windows, \u043d\u043e\u00a0\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f\u00a0\u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442, \u0434\u043b\u044f\u00a0\u0442\u0435\u0445 \u043a\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u043d\u0430\u043a\u043e\u043c \u0441\u00a0Linux, \u0432\u00a0\u0441\u0432\u043e\u0435\u0439 \u0441\u0443\u0442\u0438 \u043e\u043d \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u0435\u043d htop \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f\u00a0\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432. \u041e\u043d \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 GPU.<\/p>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <code>nvtop<\/code> \u043c\u044b \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u043b\u0438, \u0447\u0442\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0434\u043e 4 \u0431\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c Pixtral 12B \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 9 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f. \u041f\u0440\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e ~10.7 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442. \u041a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u0440\u0430\u043d\u0435\u0435, \u0434\u043b\u044f \u043d\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u043c \u0431\u044b \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e 24 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2cb\/5eb\/c52\/2cb5ebc52094a4156a81665e72dc49bd.JPEG\" alt=\"\u041f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 VRAM \u043d\u0430 Tesla P100 \u0432 Pixtral 12B 4bit\" title=\"\u041f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 VRAM \u043d\u0430 Tesla P100 \u0432 Pixtral 12B 4bit\" width=\"1280\" height=\"720\"\/><\/p>\n<div><figcaption>\u041f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 VRAM \u043d\u0430 Tesla P100 \u0432 Pixtral 12B 4bit<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u043d\u0430\u0448\u0435\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u00a0 \u043d\u0430 256 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u043d\u044f\u043b \u0443 \u043d\u0430\u0441 41.36 \u0441\u0435\u043a\u0443\u043d\u0434, \u0441 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0445\u0440\u043e\u043c\u0430\u0435\u0442. \u041d\u043e \u0437\u0430\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0441 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u043e\u043f\u0438\u0441\u0430\u0432 \u0435\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0432 \u0434\u0435\u0442\u0430\u043b\u044f\u0445.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1bc\/a07\/c9f\/1bca07c9f496e201c39cd06a60bb2475.png\" alt=\"\u0412\u043e\u0442 \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u043c\u0438 WebUI \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438\u00a0\" title=\"\u0412\u043e\u0442 \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u043c\u0438 WebUI \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438\u00a0\" width=\"1600\" height=\"907\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1bc\/a07\/c9f\/1bca07c9f496e201c39cd06a60bb2475.png\"\/><\/p>\n<div><figcaption>\u0412\u043e\u0442 \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u043c\u0438 WebUI \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438\u00a0<\/figcaption><\/div>\n<\/figure>\n<h4>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c Pixtral12B 4bit \u043d\u0430 P40<\/h4>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043d\u0430 P40, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0443 CUDA \u0441 0, \u043d\u0430 1 &#8212;<\/p>\n<pre><code class=\"bash\">CUDA_VISIBLE_DEVICES=1 python main_log.py<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/979\/8be\/0f5\/9798be0f5b27472edefe2dd55654ad6e.JPEG\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" width=\"1280\" height=\"720\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0410\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0435\u0442, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u043d\u043e \u0432\u043e\u0442 \u0447\u0442\u043e \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u2013 \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043e\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432, \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e ~40.35 \u0441\u0435\u043a\u0443\u043d\u0434 \u0434\u043b\u044f 256 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/120\/437\/a4f\/120437a4f8e595cc2428d464be8e7f9a.png\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435\" width=\"1570\" height=\"886\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/120\/437\/a4f\/120437a4f8e595cc2428d464be8e7f9a.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435<\/figcaption><\/div>\n<\/figure>\n<h4>Pixtral 12B 8bit\u00a0<\/h4>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0448\u0430\u0433\u043e\u043c \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 8-\u0431\u0438\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043e\u0436\u0438\u0434\u0430\u044f \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u0432\u0443\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 4-\u0431\u0438\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0435\u0439. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0431\u043b\u0438\u0437\u043a\u0438 \u043a \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u043c: \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u044f\u043b\u0430 13.4 \u0413\u0411 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u043f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435\u00a0\u2014 \u0443\u0436\u0435 15.5\u00a0\u0413\u0411, \u0447\u0442\u043e\u00a0\u0432 ~1.44\u00a0\u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438 4-\u0431\u0438\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 P100 \u0438\u043c\u0435\u0435\u0442 \u0432\u0441\u0435\u0433\u043e 16 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438, \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u0430\u0445\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0442\u0435\u0441\u0442\u044b \u0441 P40, \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0449\u0435\u0439 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u044b\u043c\u0438 22.5 \u0413\u0411. \u042d\u0442\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0434\u0430\u0442\u044c \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439 \u0437\u0430\u043f\u0430\u0441 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e 8-\u0431\u0438\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u041d\u043e \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043c\u0435\u043d\u044f\u0435\u043c \u043a\u043e\u043d\u0444\u0438\u0433 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0435 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439, \u0432\u043c\u0435\u0441\u0442\u043e\u00a0<\/p>\n<pre><code class=\"python\"># Define the quantization config  quantization_config = BitsAndBytesConfig(  \u00a0\u00a0\u00a0\u00a0load_in_4bit=True,  \u00a0\u00a0\u00a0\u00a0bnb_4bit_compute_dtype=torch.bfloat16,  \u00a0\u00a0\u00a0\u00a0bnb_4bit_quant_type=\"nf4\"  )<\/code><\/pre>\n<p>\u0411\u0443\u0434\u0435\u0442<\/p>\n<pre><code class=\"python\">python  # Define the quantization config for 8-bit with bfloat16 compute dtype  quantization_config = BitsAndBytesConfig(  \u00a0\u00a0\u00a0\u00a0load_in_8bit=True,\u00a0 # Switch to 8-bit quantization  \u00a0\u00a0\u00a0\u00a0bnb_8bit_compute_dtype=torch.bfloat16\u00a0 # Use bfloat16 for compute  )<\/code><\/pre>\n<h4>Pixtral 12B 8bit \u043d\u0430 P40<\/h4>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/598\/718\/f01\/598718f01addb047aadedda6f64d0025.JPEG\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" width=\"1280\" height=\"720\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b 8-\u0431\u0438\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u043c\u0438. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u043e\u0441\u044c: \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0447\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u043b\u0430 \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u0435\u0435 \u0441\u0432\u044f\u0437\u043d\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u043e \u0434\u043e 121 \u0441\u0435\u043a\u0443\u043d\u0434\u044b &#8212; \u0432 \u0442\u0440\u0438 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0443 4-\u0431\u0438\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/807\/428\/aca\/807428acacf6a66967bf21f72c68f9df.png\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435\" width=\"1570\" height=\"851\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/807\/428\/aca\/807428acacf6a66967bf21f72c68f9df.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435<\/figcaption><\/div>\n<\/figure>\n<h4>Pixtral 12B 8bit \u043d\u0430 P100<\/h4>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430 P100, \u043e\u0436\u0438\u0434\u0430\u044f \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u0430\u0441 \u0436\u0434\u0430\u043b \u0441\u044e\u0440\u043f\u0440\u0438\u0437. \u0412\u043e\u043f\u0440\u0435\u043a\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u043c, \u044d\u0442\u0430 \u043a\u0430\u0440\u0442\u0430 \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0437\u0430 119\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u00a0\u2014 \u0447\u0443\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c P40. \u0425\u043e\u0442\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0434\u0432\u0435 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438,\u00a0 \u043d\u043e \u0432\u0441\u0451 \u0436\u0435, \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0437\u0430\u0434\u0443\u043c\u0430\u0442\u044c\u0441\u044f \u0432 \u0447\u0451\u043c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u0435\u043b\u043e.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5ed\/206\/edb\/5ed206edbb089c29a2dcca58c67b1aea.png\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435\" width=\"1580\" height=\"854\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ed\/206\/edb\/5ed206edbb089c29a2dcca58c67b1aea.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435<\/figcaption><\/div>\n<\/figure>\n<h4>Le Chat<\/h4>\n<p>\u041f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0432 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u043e\u0442\u00a0Mistral AI\u00a0\u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 Pixtral, \u0432\u00a0\u0447\u0430\u0442\u2011\u0431\u043e\u0442\u0435 \u0441\u00a0\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c \u0441\u0445\u043e\u0436\u0438\u043c \u0441\u00a0ChatGPT \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c Pixtral 12B \u0431\u0435\u0437\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u044d\u0442\u043e 16\u00a0\u0431\u0438\u0442 \u0441\u00a0\u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0437\u0430\u043f\u044f\u0442\u043e\u0439, \u0432\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043e\u00a0\u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 INT4, \u043b\u0438\u0431\u043e INT8.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c86\/1da\/5a6\/c861da5a6ebf4c33c8518fc56190b5e8.png\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Le Chat\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Le Chat\" width=\"866\" height=\"883\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c86\/1da\/5a6\/c861da5a6ebf4c33c8518fc56190b5e8.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Le Chat<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u043d\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 Pixtral 12B \u0432 Le Chat \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c \u0438 \u0441\u0432\u044f\u0437\u043d\u044b\u043c, \u0445\u043e\u0442\u044f \u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438\u00a0\u2014 \u043d\u0435\u00a0\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e. \u0412\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 3 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043d\u0430\u0448\u0438\u043c\u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 \u0442\u0435\u0441\u0442\u0430\u043c\u0438 \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0438.<\/p>\n<h3>LLaMA 3.2 11B<\/h3>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/764\/4cd\/e77\/7644cde779d221e5e5491650ff87877b.webp\" alt=\"\u041c\u0430\u0441\u043a\u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 LLaMA\" title=\"\u041c\u0430\u0441\u043a\u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 LLaMA\" width=\"1024\" height=\"576\"\/><\/p>\n<div><figcaption>\u041c\u0430\u0441\u043a\u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 LLaMA<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 Python + Gradio \u043d\u0430\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u043b\u043e \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u00a0\u2014 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 <strong>ComfyUI\u2011PixtralLlamaMolmoVision<\/strong> \u0434\u043b\u044f\u00a0\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b <strong>ComfyUI<\/strong>. \u042d\u0442\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u00a0LLaMA 3.2 11B, \u043d\u043e\u00a0\u0438 \u0441\u00a0Pixtral 12B \u0438 Molmo.<\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u00a0\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u043d\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u043b\u043e \u0434\u043b\u044f\u00a0\u043d\u0430\u0448\u0438\u0445 \u0446\u0435\u043b\u0435\u0439. \u0425\u043e\u0442\u044f \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u044b \u043c\u043e\u0433\u043b\u0438\u00a0\u0431\u044b \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u00a0\u0441\u0432\u043e\u0438 \u043d\u0443\u0436\u0434\u044b \u0438\u043b\u0438\u00a0\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441\u00a0\u043d\u0443\u043b\u044f, \u043d\u0430\u0448\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u043b\u0430\u0441\u044c \u0432\u00a0\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430\u00a0\u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u0445, \u0430\u00a0\u043d\u0435\u00a0\u0432\u00a0\u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0432\u00a0\u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 AI\u2011\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<p>\u041a\u00a0\u0442\u043e\u043c\u0443\u00a0\u0436\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 ComfyUI \u0437\u0430\u00a0\u0441\u043e\u0431\u043e\u0439 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443, \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u043e\u043a\u0440\u0443\u0433 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0434\u043b\u044f\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043e\u0434\u043d\u0430\u043a\u043e, \u043a\u0430\u043a\u00a0\u043c\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438, \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c\u0438, ComfyUI \u0442\u0430\u043a\u0436\u0435 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442. <\/p>\n<p>\u041d\u0430\u0447\u0430\u043b\u043e \u0432\u00a0ComfyUI \u0442\u0430\u043a\u043e\u0435\u00a0\u0436\u0435 \u043a\u0430\u043a\u00a0\u0438 \u0441\u00a0Pixtral\u00a0\u2014 \u0437\u0430\u0445\u043e\u0434\u0438\u043c \u043d\u0430 \u043d\u0430\u0448 SSH \u0441\u0435\u0440\u0432\u0435\u0440, \u0440\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u043f\u043e\u0440\u0442 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430 8188 <code>8188:127.0.0.1:8188<\/code>. \u0410 \u0434\u0430\u043b\u044c\u0448\u0435, \u043d\u0443\u0436\u043d\u043e \u0441\u043f\u0435\u0440\u0432\u0430 \u0441\u043a\u0430\u0447\u0430\u0442\u044c ComfyUI \u2013<\/p>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/comfyanonymous\/ComfyUI.git<\/code><\/pre>\n<p>\u0417\u0430\u0442\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0442\u044c venv \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u0430\u043f\u043a\u0438 ComfyUI \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0432 \u043d\u0435\u0433\u043e \u0432\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 NVIDIA.<\/p>\n<pre><code class=\"bash\">python -m venv ComfyUI  source ComfyUI\/bin\/activatepip install --pre torch torchvision torchaudio --index-url https:\/\/download.pytorch.org\/whl\/nightly\/cu124  pip install -r requirements.txt<\/code><\/pre>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0447\u0442\u043e \u0432\u0441\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c `python main.py` \u0438 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043f\u043e \u043f\u043e\u044f\u0432\u0438\u0432\u0448\u0435\u0439\u0441\u044f \u0441\u0441\u044b\u043b\u043a\u0435 &#8212;\u00a0<\/p>\n<pre><code class=\"bash\">To see the GUI go to: http:\/\/127.0.0.1:8188<\/code><\/pre>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c ComfyUI-Manager, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u0435\u0433\u043e \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0432 ComfyUI\/custom_nodes<\/p>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/ltdrdata\/ComfyUI-Manager.git<\/code><\/pre>\n<ul>\n<li>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u041f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 ComfyUI<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043d\u043e\u0432\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435:<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u0436\u043c\u0438\u0442\u0435 \u043a\u043d\u043e\u043f\u043a\u0443 Manager<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b Custom Nodes Manager<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0439\u0434\u0438\u0442\u0435 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 ComfyUI-PixtralLlamaMolmoVision<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 Install Missing Custom Nodes \u0441\u043a\u0430\u0447\u0430\u0439\u0442\u0435 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u0430\u0447\u0430\u0439\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043f\u0430\u043f\u043a\u0443 ComfyUI\/models\/LLM \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0435 ComfyUI<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/SeanScripts\/Llama-3.2-11B-Vision-Instruct-nf4\" rel=\"noopener noreferrer nofollow\">\u0421\u043a\u0430\u0447\u0430\u0439\u0442\u0435<\/a> \u0448\u0430\u0431\u043b\u043e\u043d \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 <code>pixtral_caption_workflow.json<\/code> \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0435 \u0443\u0437\u043b\u044b<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f LLaMA:<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 pixtral_caption_workflow.json<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043c\u0435\u043d\u0438\u0442\u0435 \u0443\u0437\u043b\u044b \u043d\u0430 Llama Vision Model \u0438 Generate Text with Llama Vision<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a50\/ae0\/7a7\/a50ae07a787ef58fd1eee22e54d07721.png\" alt=\"\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 ComfyUI \u0441 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0437\u043e\u043d\u043e\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 `pixtral_caption_workflow.json`\" title=\"\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 ComfyUI \u0441 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0437\u043e\u043d\u043e\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 `pixtral_caption_workflow.json`\" width=\"1600\" height=\"788\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a50\/ae0\/7a7\/a50ae07a787ef58fd1eee22e54d07721.png\"\/><\/p>\n<div><figcaption>\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 ComfyUI \u0441 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0437\u043e\u043d\u043e\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 `pixtral_caption_workflow.json`<\/figcaption><\/div>\n<\/figure>\n<h4>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c LLaMA 11B 4bit \u043d\u0430 P100<\/h4>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c \u043a \u0442\u0435\u0441\u0442\u0430\u043c, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0441\u043d\u043e\u0432\u0430 ComfyUI, \u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0432 \u0432 CUDA \u043d\u0443\u0436\u043d\u0443\u044e \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0438 \u043d\u0430\u0447\u043d\u0451\u043c \u0441 P100.<\/p>\n<pre><code class=\"bash\">CUDA_VISIBLE_DEVICES=0 python main.py<\/code><\/pre>\n<p>\u0412 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u044f\u043b\u0430 7.58 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u0410 \u0432\u043e\u0442 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0443\u0436\u0435 8.92 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c91\/6b1\/467\/c916b14678dad5bd77e3b9035aa8f2fc.JPEG\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" width=\"1280\" height=\"720\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f LLaMA \u043d\u0430\u0441 \u043f\u0440\u0438\u044f\u0442\u043d\u043e \u0443\u0434\u0438\u0432\u0438\u043b\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0432\u0441\u0435\u0433\u043e \u0437\u0430 18.3 \u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430\u0448\u0438\u0445 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0439. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0434\u0430\u0447\u0438 \u0442\u0430\u043a\u0436\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043c\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0443\u044e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c: \u0438 LLaMA, \u0438 Pixtral \u0441\u043a\u043b\u043e\u043d\u043d\u044b \u043a \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0439 \u0431\u043e\u043b\u0442\u043b\u0438\u0432\u043e\u0441\u0442\u0438. \u041e\u043d\u0438 \u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0434\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u041f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u044b, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 repetition_penalty.<\/p>\n<p>\u041b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u043e, \u0447\u0442\u043e \u0432 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 Le Chat Pixtral \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u0434\u0435\u0440\u0436\u0430\u043d\u043d\u043e. \u042d\u0442\u043e \u043d\u0430\u0432\u043e\u0434\u0438\u0442 \u043d\u0430 \u043c\u044b\u0441\u043b\u044c, \u0447\u0442\u043e \u043c\u044b, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0443\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432 Le Chat \u0431\u043e\u043b\u0435\u0435 \u0445\u0438\u0442\u0440\u044b\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u043c\u0443, \u0432\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u043d\u0438\u0435 \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0438\u0434\u0435\u0438 \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0432\u043e\u0434\u0443, \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0434\u044b \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u0438\u0445 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445.<\/p>\n<pre><code class=\"bash\">Generated 114 tokens in 18.208 s (6.261 tok\/s)  The image features an orc with a humorous caption that reads, \"I didn't choose da ork life, da ork life chose me.\" The orc  is depicted wearing glasses and holding a drink, adding to the comedic tone of the image. The use of the phrase \"da ork life\" instead of \"the orc life\" adds a playful touch, implying that the orc has been thrust into this lifestyle against its will. Overall, the image is a lighthearted and humorous take on the idea of being forced into a particular role or identity.  Prompt executed in 18.30 seconds<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5df\/de4\/fab\/5dfde4fabe3d78df5d7fadc27b054994.png\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 ComfyUI\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 ComfyUI\" width=\"1600\" height=\"788\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5df\/de4\/fab\/5dfde4fabe3d78df5d7fadc27b054994.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 ComfyUI<\/figcaption><\/div>\n<\/figure>\n<h4>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c LLaMA 11B 4bit \u043d\u0430 P40<\/h4>\n<pre><code class=\"bash\">CUDA_VISIBLE_DEVICES=1 python main.py<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8d2\/623\/739\/8d2623739f5a3f38c77e30f291dfd0d4.JPEG\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\" width=\"1280\" height=\"720\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 nvtop \u043f\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/p>\n<pre><code class=\"bash\">Generated 31 tokens in 61.683 s (0.503 tok\/s)  \u041d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e: \"\u0412\u044b \u043f\u043e\u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438 \u0434\u0443\u0445\u0430 \u0432\u043e\u0434\u044b \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 +5 \u043a \u0443\u0434\u0430\u0447\u0435 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043d\u0435\u0434\u0435\u043b\u0438.\"  Prompt executed in 66.07 seconds<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9e1\/ef5\/6a5\/9e1ef56a50940eef4c784abb904f1cf9.png\" alt=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 ComfyUI\" title=\"\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 ComfyUI\" width=\"1600\" height=\"789\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e1\/ef5\/6a5\/9e1ef56a50940eef4c784abb904f1cf9.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 ComfyUI<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0443\u044e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c LLaMA: \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0441 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435\u043c \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u0433\u0434\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a \u043d\u0435\u0439 \u0431\u044b\u043b \u0442\u0430\u043a\u0436\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u043e\u043d\u0430 \u043d\u0435 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043b\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044f \u0435\u0433\u043e \u043a\u0430\u043a \u00ab\u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0438\u043d\u043e\u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0439 \u044f\u0437\u044b\u043a\u00bb. \u0410 \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432 ComfyUI, \u0442\u0430\u043a \u0447\u0442\u043e \u0432\u044b\u0432\u043e\u0434 \u0431\u044b\u043b \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d \u0438\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u0438, \u0433\u0434\u0435 ComfyUI \u0431\u044b\u043b \u0437\u0430\u043f\u0443\u0449\u0435\u043d.<\/p>\n<p>\u041d\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0441\u0442\u0430\u043b\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u043c\u0438 NVIDIA Tesla P100 \u0438 P40. P100 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432 3.6-4.7 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c P40, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0441\u0445\u043e\u0436\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e CUDA-\u044f\u0434\u0435\u0440 \u0438 \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043e\u0431\u0435 \u043a\u0430\u0440\u0442\u044b \u0431\u044b\u043b\u0438 \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 \u043e\u0434\u043d\u043e \u0432\u0440\u0435\u043c\u044f. \u042d\u0442\u043e \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u043b\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u0443 P40 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 (24 \u0413\u0411 \u043f\u0440\u043e\u0442\u0438\u0432 16 \u0413\u0411 \u0443 P100). \u041e\u0434\u043d\u0430\u043a\u043e P100 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c HBM2, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a P40 \u0431\u044b\u043b\u0430 \u043e\u0441\u043d\u0430\u0449\u0435\u043d\u0430 GDDR5. \u0425\u043e\u0442\u044f \u0438\u0437 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430.<\/p>\n<p>\u0418\u0437 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u2013 \u043e\u0434\u043d\u0438\u043c\u00a0 \u0438\u0437 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0442\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0433\u043b\u0430 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u0430\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0441 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e (FP16) \u0438 \u043e\u0431\u0449\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0447\u0438\u0441\u0435\u043b \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0437\u0430\u043f\u044f\u0442\u043e\u0439. P100, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0438\u043c\u0435\u043b\u0430 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u044d\u0442\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439, \u0447\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u043c \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438.<\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/03d\/d78\/ac1\/03dd78ac19dee15122fb67cbf45dc844.jpg\" alt=\"\u041d\u0430\u0448 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434 \u043d\u0430 \u0441\u0432\u0435\u0436\u0435\u043c \u0432\u043e\u0437\u0434\u0443\u0445\u0435, \u043f\u043e\u0434 \u043e\u0441\u0435\u043d\u043d\u0438\u043c, \u043c\u043e\u0441\u043a\u043e\u0432\u0441\u043a\u0438\u043c \u043d\u0435\u0431\u043e\u043c\" title=\"\u041d\u0430\u0448 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434 \u043d\u0430 \u0441\u0432\u0435\u0436\u0435\u043c \u0432\u043e\u0437\u0434\u0443\u0445\u0435, \u043f\u043e\u0434 \u043e\u0441\u0435\u043d\u043d\u0438\u043c, \u043c\u043e\u0441\u043a\u043e\u0432\u0441\u043a\u0438\u043c \u043d\u0435\u0431\u043e\u043c\" width=\"4240\" height=\"2832\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03d\/d78\/ac1\/03dd78ac19dee15122fb67cbf45dc844.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u041d\u0430\u0448 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434 \u043d\u0430 \u0441\u0432\u0435\u0436\u0435\u043c \u0432\u043e\u0437\u0434\u0443\u0445\u0435, \u043f\u043e\u0434 \u043e\u0441\u0435\u043d\u043d\u0438\u043c, \u043c\u043e\u0441\u043a\u043e\u0432\u0441\u043a\u0438\u043c \u043d\u0435\u0431\u043e\u043c<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0435 \u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0439 \u0434\u043b\u044f \u043d\u0430\u0441 \u043e\u043f\u044b\u0442, \u0432\u0441\u0451 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u0443\u0436 \u0438 \u0441\u0442\u0440\u0430\u0448\u043d\u043e. \u0414\u0430, \u043d\u0435 \u043e\u0431\u043e\u0448\u043b\u043e\u0441\u044c \u0431\u0435\u0437 \u043d\u044e\u0430\u043d\u0441\u043e\u0432, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0442\u0435\u0445 \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c. \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043a\u0440\u043e\u0432\u0438 \u043f\u043e\u043f\u0438\u043b\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u2014 Mistral.rs, vLLM. \u0410 \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u0433\u0430\u0434\u043a\u043e\u0439 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u044a\u044f\u0441\u043d\u0438\u043c\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 P100 \u0438 P40, \u0433\u0434\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u0430\u0431\u0430\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 \u043f\u043e\u0447\u0435\u043c\u0443-\u0442\u043e \u0432 Pixtral \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043d\u0430\u0440\u0430\u0432\u043d\u0435, \u0430 \u0432 LLaMa, \u0432\u043e\u0432\u0441\u0435 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u043d\u0430 \u044d\u0442\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u0435\u043c\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0446\u0438\u043a\u043b\u0430.<\/p>\n<p>\u0410 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u043e\u0433\u0430\u0434\u043a\u0438 \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0442\u0430\u043a \u043c\u043e\u0433\u043b\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438, \u043b\u0438\u0431\u043e \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0441\u043e\u0432\u0435\u0442\u044b \u043f\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u043b\u0438\u0431\u043e \u043a\u0430\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u043d\u0430 \u044d\u0442\u0438\u0445, \u043b\u0438\u0431\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u0445 \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c\u00a0\u2014 \u0436\u0434\u0451\u043c \u0432\u0430\u0441 \u0432\u00a0\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><\/p>\n<div class=\"tm-article-poll-container\"><!--[--><\/p>\n<div class=\"tm-article-poll tm-article-poll_variant-bordered\">\n<div class=\"tm-notice tm-notice_positive tm-article-poll__notice\"><!----><\/p>\n<div class=\"tm-notice__inner\"><!----><\/p>\n<div class=\"tm-notice__content\" data-test-id=\"notice-content\"><!--[--><span>\u0422\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432 \u043e\u043f\u0440\u043e\u0441\u0435. <a rel=\"nofollow\" href=\"\/kek\/v1\/auth\/habrahabr\/?back=\/ru\/companies\/serverflow\/articles\/851712\/&#038;hl=ru\">\u0412\u043e\u0439\u0434\u0438\u0442\u0435<\/a>, \u043f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430.<\/span><!--]--><\/div>\n<\/div>\n<\/div>\n<p><!--[--><\/p>\n<div class=\"tm-article-poll__header\">\u041d\u0430 \u0447\u0451\u043c \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0435 \u0441\u0432\u043e\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0438?<\/div>\n<div class=\"tm-article-poll__answers\"><!--[--><\/p>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent tm-article-poll__answer-percent_winning\">52.78% <\/span><span class=\"tm-article-poll__answer-label\">\u041f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b Nvidia \u2014 RTX 3060, 4060 \u0438 \u0442.\u0434.<\/span><span class=\"tm-article-poll__answer-votes\">19<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress tm-article-poll__answer-progress_winning\" style=\"width: 52.78%\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">8.33% <\/span><span class=\"tm-article-poll__answer-label\">\u041f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b AMD \u2014 RX 6800Xt \u0438 \u0442.\u0434.<\/span><span class=\"tm-article-poll__answer-votes\">3<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width: 8.33%\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">2.78% <\/span><span class=\"tm-article-poll__answer-label\">\u041f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b Intel Arc A770 \u0438 \u0442.\u0434.<\/span><span class=\"tm-article-poll__answer-votes\">1<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width: 2.78%\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">16.67% <\/span><span class=\"tm-article-poll__answer-label\">\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b Nvidia<\/span><span class=\"tm-article-poll__answer-votes\">6<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width: 16.67%\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">0% <\/span><span class=\"tm-article-poll__answer-label\">\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b AMD<\/span><span class=\"tm-article-poll__answer-votes\">0<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width: 0%\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">0% <\/span><span class=\"tm-article-poll__answer-label\">\u0421\u0435\u0440\u0435\u0440\u043d\u044b\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b Intel<\/span><span class=\"tm-article-poll__answer-votes\">0<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width: 0%\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">2.78% <\/span><span class=\"tm-article-poll__answer-label\">\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u0438 \u2014 TPU\/NPU\/FPGA<\/span><span class=\"tm-article-poll__answer-votes\">1<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width: 2.78%\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">33.33% <\/span><span class=\"tm-article-poll__answer-label\">\u041d\u0430 CPU<\/span><span class=\"tm-article-poll__answer-votes\">12<\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width: 33.33%\"><\/div>\n<\/div>\n<\/div>\n<p><!--]--><\/div>\n<div class=\"tm-article-poll__stats\"> \u041f\u0440\u043e\u0433\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043b\u0438 36 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.   \u0412\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043b\u0438\u0441\u044c 17 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. <\/div>\n<p><!--]--><\/div>\n<p><!--]--><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/851712\/\"> https:\/\/habr.com\/ru\/articles\/851712\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption>\u0421\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 \u043f\u0440\u043e\u0433\u0443\u043b\u043a\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440! \u0421 \u0432\u0430\u043c\u0438 \u0441\u043d\u043e\u0432\u0430 ServerFlow, \u0438 \u043c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043d\u0430\u0448 \u043d\u043e\u0432\u044b\u0439 \u0446\u0438\u043a\u043b \u0441\u0442\u0430\u0442\u0435\u0439 \u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 GPU. \u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0446\u0438\u043a\u043b\u0430 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u0439 \u0434\u043b\u044f\u00a0\u043d\u0430\u0441 \u0442\u0435\u043c\u043e\u0439\u00a0\u2014 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438, \u0430\u00a0\u0438\u043c\u0435\u043d\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 LLM. \u0412\u00a0\u0441\u0435\u043d\u0442\u044f\u0431\u0440\u0435\u2011\u043e\u043a\u0442\u044f\u0431\u0440\u0435, \u0441\u0443\u0434\u044f \u043f\u043e\u00a0\u043d\u043e\u0432\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0448\u0435\u043b \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0431\u043e\u0433\u0430\u0442\u044b\u0439 \u0443\u0440\u043e\u0436\u0430\u0439 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435, \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u0431\u0443\u0434\u0435\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 <strong>Pixtral 12B<\/strong> \u0438 <strong>LLaMA 32 11B<\/strong>, \u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0438\u0445 \u0431\u0443\u0434\u0435\u043c \u043d\u0430 \u0434\u0432\u0443\u0445 \u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0445 \u0438 \u043b\u0435\u0433\u043a\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043d\u0430 \u0411\/\u0423 \u0440\u044b\u043d\u043a\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u0445 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u2013 <strong>Nvidia Tesla P100<\/strong> \u0438 <strong>P40<\/strong>. \u041e\u0434\u043d\u0430\u043a\u043e, \u0435\u0441\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c GPU \u043c\u044b \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0438, \u0442\u043e \u0432\u043e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 LLM \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0445 \u043d\u0430\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0438\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432 \u0432 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u043c Blender. \u0422\u0430\u043a \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0451 \u044d\u0442\u043e \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0431\u0443\u0434\u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437, \u0442\u043e \u0432\u0430\u043c \u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f. \u041d\u043e \u043d\u0430\u0434\u0435\u0435\u043c\u0441\u044f \u0437\u0430\u0442\u043e \u043d\u0430\u0448 \u043f\u0440\u0438\u043c\u0435\u0440 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u0442\u0435\u043c, \u043a\u0442\u043e \u0442\u0430\u043a \u0436\u0435 \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437 \u0437\u0430\u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<h3>\u041d\u0430\u0447\u0438\u043d\u0430\u0435\u043c<\/h3>\n<p>\u0412 ServerFlow \u043c\u044b \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u043d\u0430\u0447\u0430\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <strong>Pixtral 12B<\/strong> \u0438 <strong>LLaMA 3.2 11B<\/strong>, \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0445 \u0432 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u0435. \u041e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438 Open Source, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0442\u0435\u043c, \u0447\u0442\u043e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432 \u0441\u0432\u043e\u0438\u0445 \u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043e\u043d\u0438 \u0441\u0442\u0430\u043b\u0438 <strong>\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u043c\u0438<\/strong>, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e \u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041e\u0434\u043d\u0430\u043a\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043e\u0432\u0441\u0435\u043c \u0441\u0432\u0435\u0436\u0438\u0435, \u043c\u044b \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0441 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0441 \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0438\u0445 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043b\u0438\u0431\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u044f\u0441\u043d\u0438\u0442\u044c, \u0447\u0442\u043e <strong>\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u00a0\u043d\u043e\u0432\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c, \u043d\u043e\u00a0\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0435 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u044d\u0442\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442. \u0422\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u00ab\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u2011\u0434\u0432\u0438\u0436\u043a\u0430\u043c\u0438\u00bb. \u041e\u043d\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u0437\u0430\u00a0\u0442\u043e, \u043a\u0430\u043a\u00a0\u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432\u00a0\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0438 \u043a\u0430\u043a\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437\u00a0\u043d\u0435\u0451 \u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f. \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u2011\u0434\u0432\u0438\u0436\u043a\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0432\u00a0\u0446\u0435\u043b\u043e\u043c.<\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043c\u043d\u043e\u0433\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0440\u043e\u043b\u044c \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u043e\u0432 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u041e\u043d\u0438 \u0447\u0430\u0441\u0442\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0434\u043b\u044f\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f\u00a0\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0412\u00a0\u043d\u0430\u0448\u0435\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438, \u0447\u0442\u043e\u00a0\u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 <strong>llama.cpp<\/strong> \u043d\u0435\u00a0\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438, \u0447\u0442\u043e\u00a0\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f\u00a0\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412 <strong>Ollama<\/strong> \u043d\u0443\u0436\u043d\u044b\u0445 \u043d\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c. <\/p>\n<p>\u041f\u043e\u043f\u044b\u0442\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <strong>Mistral.rs<\/strong> \u043d\u0430\u00a0\u043d\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 EndeavourOS (\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u00a0Arch Linux) \u0438 vLLM \u0447\u0435\u0440\u0435\u0437 Docker \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u00a0\u0443\u0432\u0435\u043d\u0447\u0430\u043b\u0438\u0441\u044c \u0443\u0441\u043f\u0435\u0445\u043e\u043c. \u0412\u00a0\u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0434\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 HuggingFace, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u0431\u0435\u0437\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0441\u0430\u043c\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0444\u0430\u0439\u043b \u043d\u0430\u00a0\u043c\u043d\u043e\u0433\u043e \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0430\u043c \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0441\u0434\u0435\u043b\u0430\u0435\u0442. \u0422\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438 \u043e\u0434\u0438\u043d \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u043f\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 Open Source\u00a0\u2014 <strong>ComfyUI<\/strong>. \u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0434\u0443\u043c\u0430\u043b\u0438 \u043e\u043d \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f\u00a0\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u0442\u0438\u043f\u0443 StableDiffusion, \u043d\u043e\u00a0\u043a\u0430\u043a\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0438 \u0434\u043b\u044f\u00a0\u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043d \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e\u00a0\u043c\u044b \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430\u00a0\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439\u00a0\u2014 4-\u0431\u0438\u0442\u043d\u044b\u0445 \u0438 8-\u0431\u0438\u0442\u043d\u044b\u0445. \u042d\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043e \u0442\u0435\u043c, \u0447\u0442\u043e\u00a0\u043e\u0431\u044a\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432\u00a0\u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 12\u201316\u00a0\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u00a0\u043d\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0432\u0435\u0440\u0441\u0438\u044f\u043c Pixtral \u0438 LLaMA \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 24\u00a0\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u0414\u0430\u00a0\u0438 \u0432\u00a0\u0440\u0430\u043c\u043a\u0430\u0445 \u043d\u0430\u0448\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430, \u043c\u044b\u00a0\u0431\u044b \u0442\u043e\u0433\u0434\u0430\u00a0\u0431\u044b\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e P40\u00a0\u0441\u00a0\u0435\u0451 24\u00a0\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u043c\u0438 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0430\u00a0P100\u00a0\u0432\u00a0\u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u044b\u043b\u0430\u00a0\u0431\u044b \u0438\u0437\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0435\u0451 \u0432\u0441\u0435\u0433\u043e 16 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u0443\u0434\u0430 \u0431\u044b \u043f\u043e\u043b\u043d\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043d\u0435 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043b\u0430\u0441\u044c.<\/p>\n<h4>\u041d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442 \u0442\u0435\u0441\u0442\u043e\u0432 \u0431\u0435\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e-\u0441\u0442\u0435\u043d\u0434\u0430<\/h4>\n<figure class=\"full-width\">\n<div><figcaption>\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0435 \u0437\u0430\u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043d\u0430\u0448\u0435\u043c \u0441\u0442\u0435\u043d\u0434\u0435 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u0412\u043c\u0435\u0441\u0442\u043e \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0441\u0442\u0435\u043d\u0434 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0441\u043c\u0435\u043d\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439. \u0412\u043e\u0442 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043d\u0430\u0448\u0435\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u043d\u0441\u043a\u0430\u044f \u043f\u043b\u0430\u0442\u0430: Supermicro H11SSL-I (Rev 2.0)<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440: AMD EPYC\u2122 7502 (32 \u044f\u0434\u0440\u0430 \/ 64 \u043f\u043e\u0442\u043e\u043a\u0430, 2.5GHz-3.35GHz, 180W, 128MB L3)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u044f: 4U \u0431\u0430\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0438\u043f\u0430 c TDP 240W<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c: 128GB (8 x 16GB, 3200 MHz, ECC REG)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044c: Samsung PM9A1 1TB<\/p>\n<\/li>\n<li>\n<p>\u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 1: NVIDIA Tesla P40 (24GB GDDR5)<\/p>\n<\/li>\n<li>\n<p>\u0412\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 2: NVIDIA Tesla P100 (16GB HBM2)<\/p>\n<\/li>\n<li>\n<p>\u0411\u043b\u043e\u043a \u043f\u0438\u0442\u0430\u043d\u0438\u044f: Cougar BXM 1000 [CGR BX-1000]<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e Python \u0438 pip<\/h4>\n<figure class=\"\">\n<div><figcaption>\u041b\u043e\u0433\u043e\u0442\u0438\u043f \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430 PIP<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 ServerFlow \u043c\u044b \u0443\u0434\u0435\u043b\u044f\u0435\u043c \u043e\u0441\u043e\u0431\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0Python \u0438 \u0435\u0433\u043e \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u043c \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u043e\u043c <strong>pip<\/strong>. \u041d\u043e\u00a0\u043a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043c\u043d\u043e\u0433\u0438\u0435 \u043e\u043d\u043b\u0430\u0439\u043d\u2011\u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f\u00a0Linux \u0438 Windows \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0432\u00a0\u043e\u0431\u0449\u0435\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a\u00a0\u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c.<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0435\u0431\u0435, \u0447\u0442\u043e\u00a0\u0432\u0430\u0448\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u00a0\u2014 \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e\u043a\u0432\u0430\u0440\u0442\u0438\u0440\u043d\u044b\u0439 \u0434\u043e\u043c. Python \u0432\u00a0\u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u00a0\u2014 \u043e\u0434\u0438\u043d \u0438\u0437\u00a0\u0435\u0433\u043e \u0432\u0430\u0436\u043d\u044b\u0445 \u0436\u0438\u043b\u044c\u0446\u043e\u0432. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 pip \u0432\u00a0\u043e\u0431\u0449\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043f\u043e\u0434\u043e\u0431\u043d\u0430 \u0442\u043e\u043c\u0443, \u043a\u0430\u043a\u00a0\u0435\u0441\u043b\u0438\u00a0\u0431\u044b \u0432\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 \u044d\u0442\u043e\u043c\u0443 \u0436\u0438\u043b\u044c\u0446\u0443 \u0431\u0435\u0441\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u043e\u043c\u0430. \u0420\u0430\u043d\u043e \u0438\u043b\u0438\u00a0\u043f\u043e\u0437\u0434\u043d\u043e \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a\u00a0\u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430\u043c \u0438 \u043f\u043e\u043b\u043e\u043c\u043a\u0430\u043c. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043e\u0441\u0442\u0440\u043e \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0442\u043e\u0438\u0442 \u0432\u00a0Linux, \u0433\u0434\u0435 Python \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u00a0\u043e\u0431\u0449\u0435\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0445 \u043f\u0430\u043a\u0435\u0442\u0430\u0445 Python \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u0440\u0443\u0448\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0430\u043c\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0447\u0442\u043e\u00a0\u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u0441\u00a0\u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430 \u043d\u0430\u0448\u0435\u0433\u043e \u0432\u043e\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u043c\u043e\u0433\u043e \u0434\u043e\u043c\u0430. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u2011\u044d\u0442\u043e\u043c\u0443, \u043c\u044b \u0441\u0442\u0430\u0440\u0430\u0435\u043c\u0441\u044f \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430.<\/p>\n<p>Arch Linux, \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c, \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0441\u00a0\u043e\u0441\u043e\u0431\u043e\u0439 \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e, \u0445\u043e\u0442\u044f \u0438 \u0438\u043c\u0435\u0435\u0442 \u0441\u043b\u0430\u0432\u0443 \u043d\u0435 \u00ab\u043c\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0435\u0431\u0435 \u043f\u0430\u043b\u043a\u0438 \u0432\u00a0\u043a\u043e\u043b\u0451\u0441\u0430\u00bb. \u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u043f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u00a0Arch Linux pip \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u0442\u0443, \u0430\u00a0\u043f\u043e\u0441\u043b\u0435 \u0435\u0433\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 <code>sudo pacman\u2011S python\u2011pip<\/code>, Arch \u043d\u0435\u00a0\u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u00a0\u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f venv. \u042d\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430\u00a0\u0442\u043e, \u043a\u0430\u043a\u00a0\u0435\u0441\u043b\u0438\u00a0\u0431\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0434\u043e\u043c\u0430 \u0437\u0430\u043f\u0440\u0435\u0442\u0438\u043b\u0430 \u0436\u0438\u043b\u044c\u0446\u0430\u043c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u0438, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u0438\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u044b \u043f\u043e\u00a0\u0441\u0432\u043e\u0435\u043c\u0443 \u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u044e. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 Arch Linux \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u043c \u043d\u0430\u00a0\u0444\u043e\u043d\u0435 \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0433\u0430\u0439\u0434\u044b \u0438 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u044b \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 venv, \u043d\u043e\u00a0\u043e\u043d \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u00a0\u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e\u0439 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435.<\/p>\n<p><\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0412\u044b\u0432\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u0438, \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pip \u043d\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 venv, \u043d\u0430 \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432\u0435 EndeavourOS, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u043c \u043e\u0442 Arch Linux<\/figcaption><\/div>\n<\/figure>\n<h3>Pixtral 12B<\/h3>\n<ul>\n<li>\n<p><a href=\"https:\/\/mistral.ai\/news\/pixtral-12b\/\" rel=\"noopener noreferrer nofollow\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/a> \u043c\u043e\u0434\u0435\u043b\u0438 Pixtral<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 pip \u043d\u0430 \u043d\u0430\u0448 \u0441\u0435\u0440\u0432\u0435\u0440. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043c\u0441\u044f \u043a \u043d\u0435\u043c\u0443 \u043f\u043e SSH \u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u0440\u043e\u0431\u0440\u043e\u0441\u0438\u043c \u043f\u043e\u0440\u0442 8188 \u0441 \u043d\u0435\u0433\u043e \u043d\u0430 \u043d\u0430\u0448\u0443 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0449\u0435 \u0431\u044b\u043b\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f WebUI \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u043a.<\/p>\n<pre><code class=\"bash\">ssh -L 8188:127.0.0.1:8188 -p 47645 serverflow@IP_SSH_\u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/code><\/pre>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c pip \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 Pacman.<\/p>\n<pre><code class=\"bash\">sudo pacman -S python-pip<\/code><\/pre>\n<p>\u0418 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0440\u0430\u0437\u0443 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c venv.<\/p>\n<pre><code class=\"bash\">python3 -m venv pixtral  source pixtral\/bin\/activate<\/code><\/pre>\n<p>\u0418 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0432\u0441\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<pre><code class=\"bash\">pip install --upgrade pip  pip install torch transformers bitsandbytes accelerate gradio huggingface_hub numpy pillow requests<\/code><\/pre>\n<p>\u0418 \u0437\u0430\u043b\u043e\u0433\u0438\u043d\u0438\u043c\u0441\u044f \u0432 huggingface-cli, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0443 \u0432\u0430\u0441 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0430 \u0443\u0447\u0451\u0442\u043a\u0430 \u043d\u0430 HuggingFace \u0438 \u0441\u043e\u0437\u0434\u0430\u043d \u0442\u0430\u043c \u0442\u043e\u043a\u0435\u043d \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u0432\u043e\u0434\u0438\u0442\u0435 \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u044c \u0443\u0436\u0435 \u043d\u0430 ssh \u0441\u0435\u0440\u0432\u0435\u0440\u0435. \u041c\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0438 \u0431\u0435\u0437 HuggingFace, \u0434\u0435\u043b\u0430\u044f \u0432\u0441\u0451 \u0431\u043e\u043b\u0435\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c, \u043e\u0434\u043d\u0430\u043a\u043e, \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0435 \u0443\u0441\u043b\u043e\u0436\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430.<\/p>\n<pre><code>huggingface-cli login<\/code><\/pre>\n<p>\u041a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u0440\u0430\u043d\u0435\u0435, \u0437\u0430 \u043d\u0435\u0438\u043c\u0435\u043d\u0438\u0435\u043c, \u043b\u0438\u0431\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u043d\u0430 Python.\u00a0<\/p>\n<details class=\"spoiler\">\n<summary>main_log.py<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import gradio as gr  from transformers import LlavaForConditionalGeneration, AutoProcessor, BitsAndBytesConfig, logging as transformers_logging  import torch  from PIL import Image  import requests  from io import BytesIO  import logging  import time  # Enable transformers logging at INFO level to see tokens per second and other performance info  transformers_logging.set_verbosity_info()  # Optionally, configure your own logger if you want additional control  logging.basicConfig(level=logging.INFO)  # Define the quantization config  quantization_config = BitsAndBytesConfig(  \u00a0\u00a0\u00a0\u00a0load_in_4bit=True,  \u00a0\u00a0\u00a0\u00a0bnb_4bit_compute_dtype=torch.bfloat16,  \u00a0\u00a0\u00a0\u00a0bnb_4bit_quant_type=\"nf4\"  )  # Model and processor ID  model_id = \"Ertugrul\/Pixtral-12B-Captioner-Relaxed\"  # Load the model with 4-bit quantization  model = LlavaForConditionalGeneration.from_pretrained(  \u00a0\u00a0\u00a0\u00a0model_id,  \u00a0\u00a0\u00a0\u00a0device_map=\"auto\",  \u00a0\u00a0\u00a0\u00a0torch_dtype=torch.bfloat16,  \u00a0\u00a0\u00a0\u00a0quantization_config=quantization_config  )  # Load the processor  processor = AutoProcessor.from_pretrained(model_id)  # Define image resizing function  def resize_image(image, target_size=768):  \u00a0\u00a0\u00a0\u00a0\"\"\"Resize the image to have the target size on the shortest side.\"\"\"  \u00a0\u00a0\u00a0\u00a0width, height = image.size  \u00a0\u00a0\u00a0\u00a0if width &lt; height:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_width = target_size  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_height = int(height * (new_width \/ width))  \u00a0\u00a0\u00a0\u00a0else:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_height = target_size  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0new_width = int(width * (new_height \/ height))  \u00a0\u00a0\u00a0\u00a0return image.resize((new_width, new_height), Image.LANCZOS)  # Define the Gradio inference function  def process_input(text_prompt, image_url):  \u00a0\u00a0\u00a0\u00a0# Fetch the image from the URL  \u00a0\u00a0\u00a0\u00a0try:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0response = requests.get(image_url)  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0response.raise_for_status()\u00a0 # Ensure the request was successful  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0image = Image.open(BytesIO(response.content))  \u00a0\u00a0\u00a0\u00a0except requests.exceptions.RequestException as e:  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0return f\"\u041d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u043e URL: {e}\", \"\"  \u00a0\u00a0\u00a0\u00a0image = resize_image(image, 768)\u00a0 # Resize for optimal processing  \u00a0\u00a0\u00a0\u00a0# Prepare conversation with the user prompt and image  \u00a0\u00a0\u00a0\u00a0conversation = [  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"role\": \"user\",  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"content\": [  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\"type\": \"text\", \"text\": f\"{text_prompt}\\n\"},  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\"type\": \"image\"}  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0],  \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}  \u00a0\u00a0\u00a0\u00a0]  \u00a0\u00a0\u00a0\u00a0PROMPT = processor.apply_chat_template(conversation, add_generation_prompt=True)  \u00a0\u00a0\u00a0\u00a0inputs = processor(text=PROMPT, images=image, return_tensors=\"pt\").to(\"cuda\")  \u00a0\u00a0\u00a0\u00a0# Start time for inference  \u00a0\u00a0\u00a0\u00a0start_time = time.time()  \u00a0\u00a0\u00a0\u00a0# Generate<\/code><\/pre>\n<\/div>\n<\/details>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-437750","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/437750","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=437750"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/437750\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=437750"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=437750"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=437750"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}