{"id":481718,"date":"2026-05-30T18:53:08","date_gmt":"2026-05-30T18:53:08","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=481718"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=481718","title":{"rendered":"\u041b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044f \u0418\u0418 \u0437\u0430 200 000 \u20bd: \u043a\u0430\u043a \u043c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0418\u0418-\u0441\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 2\u00d7 Tesla V100"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h3>\u041e \u0447\u0451\u043c \u044d\u0442\u043e \u0438 \u0437\u0430\u0447\u0435\u043c<\/h3>\n<p>\u041f\u0440\u0438\u044f\u0442\u043d\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c \u0437\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0434\u0435\u0439, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0418\u0418, \u0440\u0430\u0441\u0442\u0435\u0442 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0434\u043d\u0435\u043c, \u043d\u043e \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u044f \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e \u043c\u043d\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u0441\u043b\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0434 \u0441\u0432\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 LLM. \u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0443\u043c\u0430\u0441\u0448\u0435\u0434\u0448\u0438\u0435 \u0441\u0443\u043c\u043c\u044b \u043d\u0430 \u0441\u0431\u043e\u0440\u043a\u0438 \u043f\u043e\u0434 \u0418\u0418, \u0445\u043e\u0442\u044f \u0432\u0441\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u0440\u043e\u0449\u0435, \u0438 \u0441\u0432\u043e\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438. \u0422\u0430\u043a \u0438 \u0440\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0438\u0434\u0435\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0431\u0437\u043e\u0440 \u043d\u0430 \u0441\u0430\u043c\u0443\u044e \u0431\u044e\u0434\u0436\u0435\u0442\u043d\u0443\u044e \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0443\u044e \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 V100 \u043d\u0430 16\/32 \u0413\u0411, \u043f\u0440\u0438\u043b\u043e\u0436\u0438\u0432 100+ \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u0437\u0430 \u043c\u0430\u043b\u044b\u0435 \u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0441\u0442\u0438 \u0446\u0435\u043b\u0443\u044e \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044e \u0434\u043e\u043c\u0430.\u00a0<\/p>\n<p>\u0421\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c\u0441\u044f: \u00ab\u0431\u044e\u0434\u0436\u0435\u0442\u043d\u044b\u0439\u00bb \u2014 \u044d\u0442\u043e \u043f\u0440\u043e \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0446\u0435\u043d\u0430\/\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0430 \u043d\u0435 \u043f\u0440\u043e \u00ab\u043a\u043e\u043f\u0435\u0439\u043a\u0438\u00bb. 200\u043a \u0437\u0430 \u0434\u0432\u0443\u0445\u043a\u0430\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u0442\u0435\u043d\u0434 \u043f\u043e \u0431\u044b\u0442\u043e\u0432\u044b\u043c \u043c\u0435\u0440\u043a\u0430\u043c \u2014 \u043d\u0435 \u0434\u0451\u0448\u0435\u0432\u043e. \u041d\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u043a\u0440\u0443\u0442\u044f\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e 70B AWQ \u0447\u0435\u0440\u0435\u0437 TP=2, \u0430 \u0432 \u044d\u0442\u043e\u043c \u0446\u0435\u043d\u043e\u0432\u043e\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0433\u043e \u043f\u043e VRAM \u043c\u044b \u043d\u0430 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u0435 \u043d\u0435 \u043d\u0430\u0448\u043b\u0438. 2\u00d7\u00a0<strong>Tesla V100 32GB<\/strong>\u00a0\u0434\u0430\u044e\u0442 64 \u0413\u0411 VRAM \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u2014 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0438 RTX 5080 16GB, \u0438 \u0434\u0435\u0448\u0435\u0432\u043b\u0435.<\/p>\n<p>\u0426\u0435\u043b\u0435\u0432\u0430\u044f \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044f \u2014 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u044b \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0434\u043e 50 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u044c LLM \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043f\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439 \u0446\u0435\u043d\u0435. \u0414\u043b\u044f \u043a\u0440\u0443\u043f\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d\u0430 V100 \u2014 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441, \u0438 \u0432 \u0432\u044b\u0432\u043e\u0434\u0430\u0445 \u0447\u0435\u0441\u0442\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0432\u044b\u043b\u0435\u0437\u0430\u0442\u044c \u0435\u0433\u043e \u0431\u043e\u043b\u044f\u0447\u043a\u0438.<\/p>\n<p>\u0426\u0435\u043b\u044c \u2014 \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0442\u0435\u043c\u0443 V100 \u043e\u0434\u043d\u0438\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u041f\u043e \u043d\u0430\u0448\u0435\u043c\u0443 \u043e\u043f\u044b\u0442\u0443 \u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u043f\u043e\u043b\u0435 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u043e\u0440\u0430 \u043d\u0435\u0442: \u0433\u0434\u0435-\u0442\u043e \u0446\u0435\u043d\u044b \u0438 \u043d\u0435\u0442 \u0441\u0442\u0435\u043a\u0430, \u0433\u0434\u0435-\u0442\u043e \u0441\u0442\u0435\u043a \u0438 \u043d\u0435\u0442 \u0431\u0435\u043d\u0447\u0435\u0439, \u0433\u0434\u0435-\u0442\u043e \u0431\u0435\u043d\u0447\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u2014 \u0438 \u0436\u0435\u043b\u0435\u0437\u043e \u0441 \u0446\u0435\u043d\u0430\u043c\u0438, \u0438 \u0441\u0442\u0435\u043a \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0433\u0440\u0430\u0431\u043b\u044f\u043c\u0438, \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u043f\u043e \u0447\u0435\u0442\u044b\u0440\u0451\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c: 108 LLM \u0447\u0435\u0440\u0435\u0437 Ollama, 14 image-gen \u0447\u0435\u0440\u0435\u0437 sd.cpp\/Ollama, 6 video-gen \u0447\u0435\u0440\u0435\u0437 sd.cpp\/diffusers, \u043f\u043b\u044e\u0441 STT-\u0431\u043b\u043e\u043a (Whisper-large-v3). \u041a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, JSON, \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0430\u0448\u0431\u043e\u0440\u0434 \u2014 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0440\u0435\u043f\u043e\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\" rel=\"noopener noreferrer nofollow\"><code>pocketcoder-ch\/v100-benchmarks-2026<\/code><\/a>. \u0418\u0442\u043e\u0433\u043e 128 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<h4>\u0427\u0442\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435<\/h4>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0442\u0430\u043a\u0430\u044f:<\/p>\n<ol>\n<li>\n<p>\u0427\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0438 \u0437\u0430\u0447\u0435\u043c (\u044d\u0442\u043e\u0442 \u0440\u0430\u0437\u0434\u0435\u043b).<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 V100 \u2014 \u043f\u0440\u043e \u0440\u044b\u043d\u043e\u043a, \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440\u044b (SXM2 vs SXM3 vs PCIe), \u0410\u0432\u0438\u0442\u043e\/\u0410\u043b\u0438\u042d\u043a\u0441\u043f\u0440\u0435\u0441\u0441, \u0447\u0442\u043e \u043c\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u044f\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0416\u0435\u043b\u0435\u0437\u043e: \u0441\u043c\u0435\u0442\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a \u2014 i7, 2 \u043a\u0430\u0440\u0442\u044b, \u0411\u041f, RAM, \u043a\u043e\u0440\u043f\u0443\u0441.<\/p>\n<\/li>\n<li>\n<p>\u0413\u0440\u0430\u0431\u043b\u0438 Volta: vLLM-\u0441\u0442\u0435\u043a, \u0447\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \/ \u0447\u0442\u043e \u043d\u0435\u0442, SHM-wall \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 \u043c\u0430\u0441\u0441\u043e\u0432\u043e\u043c \u0431\u0435\u043d\u0447\u0435 \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043d\u0430 Ollama.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u043c\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u2014 \u0441\u0442\u0435\u043d\u0434, \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d STT+LLM, DP vs TP, \u043f\u0443\u0442\u044c A vs \u043f\u0443\u0442\u044c \u0411.<\/p>\n<\/li>\n<li>\n<p><strong>128 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435<\/strong>\u00a0\u2014 108 LLM (\u0442\u043e\u043f-10 \/ \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043b\u043e\u0448\u0430\u0434\u043a\u0438 7\u20139B \/ \u0431\u043e\u043b\u044c\u0448\u0438\u0435 14\u201370B \/ \u00ab\u0433\u0434\u0435 \u0443\u043f\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a\u00bb), 14 image-gen, 6 video-gen, STT (Whisper-large-v3).<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u0433\u0434\u0430 NVLink \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435\u043d \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u043f\u043e 128 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c.<\/p>\n<\/li>\n<li>\n<p>Failed \/ Skip \u2014 \u0447\u0442\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 Volta (FP8, MXFP4, NVFP4).<\/p>\n<\/li>\n<li>\n<p>\u0427\u0442\u043e \u0431\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438, \u0435\u0441\u043b\u0438 \u0431\u044b \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0432\u043e\u0434\u044b \u0438 \u0441\u0441\u044b\u043b\u043a\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442\u044b, \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0446\u0438\u0438, \u0441\u044b\u0440\u044b\u0435 JSON \u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0430\u0448\u0431\u043e\u0440\u0434 \u2014 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0440\u0435\u043f\u043e\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\" rel=\"noopener noreferrer nofollow\"><code>pocketcoder-ch\/v100-benchmarks-2026<\/code><\/a>. <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7eb\/506\/63b\/7eb50663b627f34a2868188032803a6b.jpeg\" alt=\"\u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 \u0441 2\u00d7 V100 \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u043b\u0430\u043d\" width=\"1500\" height=\"1999\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/7eb\/506\/63b\/7eb50663b627f34a2868188032803a6b.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7eb\/506\/63b\/7eb50663b627f34a2868188032803a6b.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 \u0441 2\u00d7 V100 \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u043b\u0430\u043d<\/figcaption><\/div>\n<\/figure>\n<hr\/>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 V100: \u043e\u0442\u043a\u0443\u0434\u0430 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438 \u043a\u0430\u043a\u0438\u0435 \u043e\u043d\u0438 \u0431\u044b\u0432\u0430\u044e\u0442<\/h3>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u0441\u043c\u0435\u0442\u0435 \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0443\u044e\u0449\u0438\u043c, \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f \u0441 \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c: \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 V100, \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043a\u0430\u0440\u0442\u0430, \u043a\u0430\u043a\u0438\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0430 \u0431\/\u0443-\u0440\u044b\u043d\u043a\u0435 \u0438 \u0447\u0442\u043e \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u0432\u0437\u044f\u043b\u0438. \u0414\u0430\u043b\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u0435\u0435, \u043a\u0430\u043a \u0441\u0431\u043e\u0440\u043a\u0430 \u0434\u043e\u0448\u043b\u0430 \u0434\u043e \u0441\u0432\u043e\u0435\u0433\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0438\u0434\u0430.<\/p>\n<h4>\u041e\u0442\u043a\u0443\u0434\u0430 \u00ab\u0434\u0435\u0434\u0443\u0448\u043a\u0430\u00bb \u043d\u0430 \u0440\u044b\u043d\u043a\u0435<\/h4>\n<p><strong>Volta<\/strong>\u00a0\u2014 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 NVIDIA 2017 \u0433\u043e\u0434\u0430, compute capability 7.0. \u041f\u0440\u043e\u0448\u043b\u043e \u0442\u0440\u0438 \u043f\u043e\u043b\u043d\u044b\u0445 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 GPU:<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/870\/ffb\/473\/870ffb473098c2be29129b1ebca80e99.png\" width=\"1656\" height=\"482\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/870\/ffb\/473\/870ffb473098c2be29129b1ebca80e99.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/870\/ffb\/473\/870ffb473098c2be29129b1ebca80e99.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>V100 \u2014 \u044d\u0442\u043e \u00ab\u043f\u0440\u0430\u0434\u0435\u0434\u0443\u0448\u043a\u0430\u00bb \u0442\u0435\u043a\u0443\u0449\u0435\u0439 B200\/H200. \u041f\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043a\u0435 \u2014 \u0442\u0440\u0438 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u0430\u0434.<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0432\u0442\u043e\u0440\u0438\u0447\u043a\u0435: \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0435\u0434\u0443\u0448\u043a\u0430. \u0414\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u044b (\u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u043f\u0430\u0434\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u044b) \u043c\u0430\u0441\u0441\u043e\u0432\u043e \u0432\u044b\u0432\u043e\u0434\u044f\u0442 V100 \u0438 \u043f\u0435\u0440\u0435\u0441\u0430\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 A100\/H100\/H200. \u041a\u0430\u0440\u0442\u044b \u0432\u044b\u0432\u0430\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\/\u0443-\u0440\u044b\u043d\u043e\u043a \u0447\u0435\u0440\u0435\u0437 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u0445 \u043f\u0435\u0440\u0435\u043a\u0443\u043f\u043e\u0432 \u0441 AliExpress, \u043e\u0442\u0442\u0443\u0434\u0430 \u0447\u0430\u0441\u0442\u044c \u0434\u043e\u0435\u0437\u0436\u0430\u0435\u0442 \u0434\u043e \u0410\u0432\u0438\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445.<\/p>\n<p>\u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u0431\/\u0443 \u0438\u0437 \u0414\u0426, \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 24\/7 \u0437\u0430 \u043f\u043b\u0435\u0447\u0430\u043c\u0438. \u041d\u043e \u043a\u0438\u0442\u0430\u0439\u0446\u044b \u043f\u0435\u0440\u0435\u0434 \u043f\u0440\u043e\u0434\u0430\u0436\u0435\u0439 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044e\u0442: \u043d\u043e\u0432\u0430\u044f \u0442\u0435\u0440\u043c\u043e\u043f\u0430\u0441\u0442\u0430, \u043f\u0435\u0440\u0435\u0442\u044f\u043d\u0443\u0442\u044b\u0435 \u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f, \u0441\u0432\u0435\u0436\u0438\u0439 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440. \u0423 \u043d\u0430\u0441 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u2014 \u043d\u0430\u0440\u0435\u043a\u0430\u043d\u0438\u0439 \u043d\u043e\u043b\u044c, \u0437\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0430 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0433\u043e\u0434\u0430.<\/p>\n<h4>\u0414\u0432\u0430 \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 \u2014 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430<\/h4>\n<p>V100 32 \u0413\u0411 \u043f\u0440\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0432\u00a0<strong>\u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u0445<\/strong>, \u0438 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430:<\/p>\n<blockquote>\n<p><strong>\u041e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e \u043f\u0440\u0438 \u043f\u043e\u043a\u0443\u043f\u043a\u0435: SXM2 vs SXM3.<\/strong><br \/>\u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f V100 \u0432 \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440\u0435\u00a0<strong>SXM3<\/strong>\u00a0\u2014 \u0432\u043d\u0435\u0448\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 SXM2, \u043d\u043e\u00a0<strong>\u043d\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c <\/strong>\u043d\u0438 \u0441 SXM2-backplane, \u043d\u0438 \u0441 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u043c\u0438 OLOEY. \u041f\u043e\u0434 SXM3 \u043d\u0443\u0436\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u043e\u0438\u0442 ~20 000 \u20bd \u0438 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u0432\u0430\u043c \u043d\u0435 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f. \u041d\u0430 \u0410\u0432\u0438\u0442\u043e \u0438 AliExpress SXM3 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u043b\u0435\u0436\u0438\u0442 \u043f\u043e \u0446\u0435\u043d\u0435 SXM2 \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u2014 \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0431\u0435\u0440\u0443\u0442 \u0435\u0433\u043e \u043f\u043e \u043d\u0435\u0437\u043d\u0430\u043d\u0438\u044e, \u0430 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u043a\u0430\u0440\u0442\u0430 \u043d\u0435 \u0441\u0430\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u043e\u0431\u0432\u044f\u0437\u043a\u0443.\u00a0<strong>\u041f\u0435\u0440\u0435\u0434 \u043e\u043f\u043b\u0430\u0442\u043e\u0439 \u0432\u0441\u0435\u0433\u0434\u0430 \u0443\u0442\u043e\u0447\u043d\u044f\u0439\u0442\u0435 \u0443 \u043f\u0440\u043e\u0434\u0430\u0432\u0446\u0430, \u0447\u0442\u043e \u044d\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e SXM2.<\/strong>\u00a0\u0411\u0435\u0440\u0438\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e SXM2.<\/p>\n<\/blockquote>\n<h3>\u0412\u0430\u0440\u0438\u0430\u043d\u0442 \u0410 \u2014 \u0433\u043e\u043b\u044b\u0439 SXM2-\u0447\u0438\u043f<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/02b\/752\/e06\/02b752e06f08a759f9308e392b0de879.jpeg\" alt=\"\u0421\u043a\u0440\u0438\u043d AliExpress: \u0433\u043e\u043b\u0430\u044f V100 SXM2 32GB \u0437\u0430 52 632 \u20bd\" width=\"1500\" height=\"866\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/02b\/752\/e06\/02b752e06f08a759f9308e392b0de879.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/02b\/752\/e06\/02b752e06f08a759f9308e392b0de879.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043a\u0440\u0438\u043d AliExpress: \u0433\u043e\u043b\u0430\u044f V100 SXM2 32GB \u0437\u0430 52 632 \u20bd<\/figcaption><\/div>\n<\/figure>\n<p>SXM2 \u2014 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440 NVIDIA: \u0447\u0438\u043f \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 mezzanine-\u043f\u043b\u0430\u0442\u0435, \u0432\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u044f\u043c\u043e \u0432 \u043c\u0430\u0442\u0435\u0440\u0438\u043d\u043a\u0443 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u044a\u0451\u043c SXM2, \u0430 \u043d\u0435 \u0432 PCIe-\u0441\u043b\u043e\u0442. \u0421\u0432\u0435\u0440\u0445\u0443 \u2014 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 PCB-\u043a\u0430\u0440\u0442\u044b \u043d\u0435\u0442.<\/p>\n<p>\u0426\u0435\u043d\u044b \u043d\u0430 2026-05-13:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0446\u0435\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0448\u043b\u0438\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u0442\u043e\u0433\u043e \/ \u043a\u0430\u0440\u0442\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">AliExpress (Zhien Server Store)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>52 632 \u20bd<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">~5 303 \u20bd<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>57 935 \u20bd<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0410\u0440\u0442\u0438\u043a\u0443\u043b\u00a0<code>1005009880109662<\/code>, 105 \u043a\u0443\u043f\u043b\u0435\u043d\u043e, \u0440\u0435\u0439\u0442\u0438\u043d\u0433 4.7. \u041d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u0442\u0438\u043f \u0442\u043e\u0432\u0430\u0440\u0430 \u0443\u043a\u0430\u0437\u0430\u043d \u043a\u0430\u043a \u00abUSB-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u00bb \u2014 \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u043a\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043f\u043e\u0434 \u043c\u043e\u0434\u0435\u0440\u0430\u0446\u0438\u044e AliExpress.<\/p>\n<p>\u0411\u0435\u0437 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u0438\u043a\u0430, \u0431\u0435\u0437 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440\u0430. \u0412\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0443\u044e \u043f\u043b\u0430\u0442\u0443 \u0441 SXM2-\u0441\u043e\u043a\u0435\u0442\u043e\u043c (\u0432 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442), \u043b\u0438\u0431\u043e \u0432\u00a0<strong>NVLink-backplane<\/strong>\u00a0\u2014 \u043f\u043b\u0430\u0442\u0430 \u0441 2\u20134 SXM2-\u0441\u043b\u043e\u0442\u0430\u043c\u0438, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 NVLink-\u0434\u043e\u0440\u043e\u0436\u043a\u0438 \u0440\u0430\u0437\u0432\u0435\u0434\u0435\u043d\u044b \u043f\u0440\u044f\u043c\u043e \u043f\u043e PCB. NVLink-backplane \u043d\u0430 2 GPU \u0441\u0442\u043e\u0438\u0442\u00a0<strong>21 849 \u20bd<\/strong>\u00a0\u043d\u0430 \u0410\u043b\u0438 (\u0430\u0440\u0442\u0438\u043a\u0443\u043b\u00a0<code>1005010459772246<\/code>).<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/742\/9f7\/ef3\/7429f7ef3ea8990e505e8f6629ab2052.jpeg\" alt=\"\u0421\u043a\u0440\u0438\u043d AliExpress: NVLink-backplane \u043d\u0430 2\u00d7 V100 SXM2 \u0437\u0430 21 849 \u20bd\" width=\"1500\" height=\"863\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/742\/9f7\/ef3\/7429f7ef3ea8990e505e8f6629ab2052.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/742\/9f7\/ef3\/7429f7ef3ea8990e505e8f6629ab2052.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043a\u0440\u0438\u043d AliExpress: NVLink-backplane \u043d\u0430 2\u00d7 V100 SXM2 \u0437\u0430 21 849 \u20bd<\/figcaption><\/div>\n<\/figure>\n<p>\u042d\u0442\u043e \u043f\u0443\u0442\u044c \u00ab\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043f\u043e\u0434 NVLink, \u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043e\u0431\u0432\u044f\u0437\u043a\u043e\u0439\u00bb. \u041e\u0445\u043b\u0430\u0434 \u0434\u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u2014 \u0432\u043e\u0434\u044f\u043d\u043a\u0430 SPEEDIER \u0437\u0430 3 726 \u20bd \u0438\u043b\u0438 \u043c\u0435\u0434\u043d\u0430\u044f \u0431\u0430\u0448\u043d\u044f OLOEY \u0437\u0430 6 271 \u20bd.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/805\/726\/6a8\/8057266a8194d59711ecdf02abcbcbb8.jpeg\" alt=\"\u0421\u043a\u0440\u0438\u043d AliExpress: \u0432\u043e\u0434\u044f\u043d\u043a\u0430 SPEEDIER \u0434\u043b\u044f V100 SXM2 \u0437\u0430 3 249 \u20bd\" width=\"1500\" height=\"869\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/805\/726\/6a8\/8057266a8194d59711ecdf02abcbcbb8.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/805\/726\/6a8\/8057266a8194d59711ecdf02abcbcbb8.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043a\u0440\u0438\u043d AliExpress: \u0432\u043e\u0434\u044f\u043d\u043a\u0430 SPEEDIER \u0434\u043b\u044f V100 SXM2 \u0437\u0430 3 249 \u20bd<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/366\/1e8\/6ac\/3661e86acfa9e5ee3948df7006402c9e.jpeg\" alt=\"\u0421\u043a\u0440\u0438\u043d AliExpress: \u043c\u0435\u0434\u043d\u0430\u044f \u0431\u0430\u0448\u043d\u044f OLOEY \u0434\u043b\u044f V100 SXM2 \u0437\u0430 4 439 \u20bd\" width=\"1500\" height=\"863\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/366\/1e8\/6ac\/3661e86acfa9e5ee3948df7006402c9e.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/366\/1e8\/6ac\/3661e86acfa9e5ee3948df7006402c9e.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043a\u0440\u0438\u043d AliExpress: \u043c\u0435\u0434\u043d\u0430\u044f \u0431\u0430\u0448\u043d\u044f OLOEY \u0434\u043b\u044f V100 SXM2 \u0437\u0430 4 439 \u20bd<\/figcaption><\/div>\n<\/figure>\n<h3>\u0412\u0430\u0440\u0438\u0430\u043d\u0442 \u0411 \u2014 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u043e\u0445\u043b\u0430\u0434\u043e\u043c<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4fe\/251\/7b8\/4fe2517b8d2088929ca29963cf43f237.jpeg\" alt=\"\u0421\u043a\u0440\u0438\u043d AliExpress: OLOEY V100 \u0432 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0435 \u0441 \u0443\u043b\u0438\u0442\u043a\u043e\u0439 \u0437\u0430 59 835 \u20bd\" width=\"1500\" height=\"985\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4fe\/251\/7b8\/4fe2517b8d2088929ca29963cf43f237.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4fe\/251\/7b8\/4fe2517b8d2088929ca29963cf43f237.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043a\u0440\u0438\u043d AliExpress: OLOEY V100 \u0432 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0435 \u0441 \u0443\u043b\u0438\u0442\u043a\u043e\u0439 \u0437\u0430 59 835 \u20bd<\/figcaption><\/div>\n<\/figure>\n<p>\u0413\u043e\u0442\u043e\u0432\u0430\u044f PCB: SXM2-\u0447\u0438\u043f \u0443\u0436\u0435 \u043f\u0440\u0438\u043f\u0430\u044f\u043d \u043d\u0430 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440, \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0442\u043e\u0438\u0442 turbo-blower (\u00ab\u0443\u043b\u0438\u0442\u043a\u0430\u00bb). \u0412\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c, \u0432\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 PCIe x16 \u043b\u044e\u0431\u043e\u0439 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u0440\u0438. \u042d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435.<\/p>\n<p>\u0426\u0435\u043d\u0430 \u043d\u0430 2026-05-13:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0446\u0435\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0414\u043e\u0441\u0442\u0430\u0432\u043a\u0430 + \u043f\u043e\u0448\u043b\u0438\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u0442\u043e\u0433\u043e \/ \u043a\u0430\u0440\u0442\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">AliExpress (Network Card Supplier, \u0431\u0440\u0435\u043d\u0434 OLOEY)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>59 835 \u20bd<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">+ 2 409 \u20bd + ~6 383 \u20bd<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>68 627 \u20bd<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0410\u0440\u0442\u0438\u043a\u0443\u043b\u00a0<code>1005010057680719<\/code>, 268 \u043a\u0443\u043f\u043b\u0435\u043d\u043e, \u0440\u0435\u0439\u0442\u0438\u043d\u0433 4.8.<\/p>\n<p>\u042d\u0442\u043e \u043f\u0443\u0442\u044c \u00ab\u0432\u043e\u0442\u043a\u043d\u0443\u043b \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u00bb, \u043f\u043e\u0434 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443 \u0431\u0435\u0437 NVLink. \u041a\u0430\u0440\u0442\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043b\u044e\u0431\u0430\u044f \u043e\u0431\u044b\u0447\u043d\u0430\u044f PCIe-\u0432\u0438\u0434\u044f\u0445\u0430.<\/p>\n<h4>\u0410\u0432\u0438\u0442\u043e vs AliExpress<\/h4>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5b7\/38d\/437\/5b738d437cc0e745f5b52d452c460e4c.jpeg\" alt=\"\u0421\u043a\u0440\u0438\u043d \u0410\u0432\u0438\u0442\u043e: V100 PCIe \u0441 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440\u043e\u043c \u043e\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u0437\u0430 70 000 \u20bd\" width=\"1320\" height=\"2868\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5b7\/38d\/437\/5b738d437cc0e745f5b52d452c460e4c.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5b7\/38d\/437\/5b738d437cc0e745f5b52d452c460e4c.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043a\u0440\u0438\u043d \u0410\u0432\u0438\u0442\u043e: V100 PCIe \u0441 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440\u043e\u043c \u043e\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u0437\u0430 70 000 \u20bd<\/figcaption><\/div>\n<\/figure>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0413\u0434\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u0442\u043e\u0433\u043e \u20bd<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0440\u043e\u043a<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043b\u0438 (Zhien Server Store)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0413\u043e\u043b\u0430\u044f SXM2 32GB<\/p>\n<\/td>\n<td>\n<p align=\"left\">57 935 (\u0441 \u043f\u043e\u0448\u043b\u0438\u043d\u043e\u0439)<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 \u043d\u0435\u0434\u0435\u043b\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043b\u0438 (Network Card Supplier, OLOEY)<\/p>\n<\/td>\n<td>\n<p align=\"left\">PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u0443\u043b\u0438\u0442\u043a\u043e\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">68 627 (\u0441 \u043f\u043e\u0448\u043b\u0438\u043d\u043e\u0439 + \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 \u043d\u0435\u0434\u0435\u043b\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0410\u0432\u0438\u0442\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440\u043e\u043c \u043e\u0442 \u0434\u0440. \u043a\u0430\u0440\u0442\u044b<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>70 000<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>2\u20134 \u0434\u043d\u044f<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0435\u043c\u0438\u044f \u0410\u0432\u0438\u0442\u043e-\u043f\u0435\u0440\u0435\u043a\u0443\u043f\u0430 \u043d\u0430\u0434 \u0410\u043b\u0438 \u0434\u043b\u044f PCIe-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u2014\u00a0<strong>~1.4\u043a \u20bd<\/strong>. \u041f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430 \u0437\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u043a\u043e\u043f\u0435\u0435\u0447\u043d\u0430\u044f. \u041c\u044b \u0431\u0440\u0430\u043b\u0438 \u0441 \u0410\u0432\u0438\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443: \u043b\u043e\u043f\u043d\u0443\u043b \u0447\u0438\u043f \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 3090 \u0432 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u0435, \u043d\u0443\u0436\u043d\u0430 \u0431\u044b\u043b\u0430 \u0431\u044b\u0441\u0442\u0440\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u043f\u043e\u0434 \u0443\u0436\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0441\u043e \u0441\u0432\u044f\u0437\u043a\u0430\u043c\u0438 \u043a \u0411\u0414. \u0410\u0440\u0435\u043d\u0434\u0430 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 \u0431\u044b \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0432\u0435\u0441\u044c \u0441\u043a\u0440\u0438\u043f\u0442 \u2014 \u043c\u043e\u0440\u043e\u0447\u0438\u0442\u044c\u0441\u044f \u0431\u044b\u043b\u043e \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u0434\u043e\u043f\u043b\u0430\u0442\u0438\u0442\u044c 1.4\u043a \u20bd \u0437\u0430 4 \u0434\u043d\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0432\u0443\u0445 \u043d\u0435\u0434\u0435\u043b\u044c.<\/p>\n<h4>\u0427\u0442\u043e \u043c\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u044f\u043b\u0438 \u0438 \u043a\u0430\u043a \u043e\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442<\/h4>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 \u2014\u00a0<strong>2\u00d7 V100 32GB \u0432 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438<\/strong>\u00a0(\u041f\u0443\u0442\u044c \u0411, \u0441 \u0410\u0432\u0438\u0442\u043e). \u041a\u0430\u0440\u0442\u0430 \u043f\u0440\u0438\u0435\u0445\u0430\u043b\u0430 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u0430\u044f: SXM2-\u0447\u0438\u043f \u043d\u0430 PCIe-\u043f\u043b\u0430\u0442\u0435, \u0441\u0432\u0435\u0440\u0445\u0443 turbo-blower (\u00ab\u0443\u043b\u0438\u0442\u043a\u0430\u00bb), \u0437\u0430\u0434\u043d\u044f\u044f \u0441\u0442\u0435\u043d\u043a\u0430 \u0432\u0435\u043d\u0442\u0438\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f. \u0412\u0436\u0438\u0432\u0443\u044e \u2014 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0442\u043e\u0432\u0430\u044f \u0432\u0438\u0434\u044f\u0445\u0430, \u0440\u0430\u0437\u0432\u043e\u0434\u043a\u0430 \u043f\u043e\u0434 PCIe x16, \u0432\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u0443\u044e \u043c\u0430\u0442\u044c.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0440 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u2014 \u0434\u043b\u0438\u043d\u0430 \u0438 \u0448\u0438\u0440\u0438\u043d\u0430 (\u0432\u0430\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e \u0441\u0431\u043e\u0440\u043a\u0438, \u0447\u0442\u043e \u0432\u043b\u0435\u0437\u0435\u0442 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441):<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d35\/18f\/1a9\/d3518f1a94b7cff3bad743632dc49f24.jpeg\" alt=\"\u0417\u0430\u043c\u0435\u0440 \u0434\u043b\u0438\u043d\u044b V100 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u043e\u043a\u043e\u043b\u043e 26 \u0441\u043c\" width=\"1280\" height=\"960\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d35\/18f\/1a9\/d3518f1a94b7cff3bad743632dc49f24.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d35\/18f\/1a9\/d3518f1a94b7cff3bad743632dc49f24.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0417\u0430\u043c\u0435\u0440 \u0434\u043b\u0438\u043d\u044b V100 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u043e\u043a\u043e\u043b\u043e 26 \u0441\u043c<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/224\/eed\/c76\/224eedc76e8615d20cb591593a490508.jpeg\" alt=\"\u0417\u0430\u043c\u0435\u0440 \u0448\u0438\u0440\u0438\u043d\u044b V100 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0442\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442\" width=\"720\" height=\"960\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/224\/eed\/c76\/224eedc76e8615d20cb591593a490508.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/224\/eed\/c76\/224eedc76e8615d20cb591593a490508.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0417\u0430\u043c\u0435\u0440 \u0448\u0438\u0440\u0438\u043d\u044b V100 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0442\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442<\/figcaption><\/div>\n<\/figure>\n<p>\u042d\u0442\u043e \u043a \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u043f\u0440\u043e \u043a\u043e\u0440\u043f\u0443\u0441: 26 \u0441\u043c \u0432 \u0434\u043b\u0438\u043d\u0443 \u0438 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0442\u043e\u0432\u0430\u044f \u0442\u0443\u0440\u0431\u0438\u043d\u0430 \u2014 \u0432 Micro-ATX \u0442\u0430\u043a\u043e\u0435 \u043d\u0435 \u0437\u0430\u043b\u0435\u0437\u0435\u0442, \u043d\u0443\u0436\u0435\u043d \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 Full Tower (\u043f\u0440\u043e \u043a\u043e\u0440\u043f\u0443\u0441 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u2014 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u0416\u0435\u043b\u0435\u0437\u043e\u00bb \u043d\u0438\u0436\u0435). \u0418 \u043f\u0440\u044f\u043c\u043e \u0437\u0434\u0435\u0441\u044c \u2014 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u043b\u044e\u0441 PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u043d\u0430\u0434 \u0433\u043e\u043b\u044b\u043c SXM2: \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043e\u0431\u0432\u044f\u0437\u043a\u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f, \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0438 \u0431\u043b\u043e\u043a \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0441 \u0440\u0430\u0437\u044a\u0451\u043c\u0430\u043c\u0438 8-pin EPS \u0432\u044b\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442.<\/p>\n<h4>V100 vs RTX 3090 \u0431\/\u0443 \u2014 \u0447\u0442\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c<\/h4>\n<p>\u0412 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a \u0442\u0430\u043a\u0438\u043c \u0441\u0431\u043e\u0440\u043a\u0430\u043c \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0441\u043f\u043b\u044b\u0432\u0430\u0435\u0442: \u00ab\u0437\u0430 \u0442\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0432\u043e\u0437\u044c\u043c\u0438 \u0431\/\u0443\u00a0<strong>RTX 3090<\/strong>\u00a0\u2014 \u043e\u043d\u0430 \u043d\u043e\u0432\u0435\u0435, FP16 \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u0432\u0435\u0436\u0435\u0435\u00bb. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u044b, 3090 \u0432 \u0447\u0430\u0441\u0442\u0438 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435.<\/p>\n<p>\u041d\u043e:<\/p>\n<ul>\n<li>\n<p>\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 V100 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u0434\u00a0<strong>24\/7 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u0447\u0430\u0441\u043e\u0432<\/strong>. \u042d\u0442\u043e \u0448\u0442\u0430\u0442\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438, \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 \u0434\u0438\u0437\u0430\u0439\u043d.<\/p>\n<\/li>\n<li>\n<p>3090 \u2014 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0430\u044f \u043a\u0430\u0440\u0442\u0430, \u0448\u0442\u0430\u0442\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0443 \u043d\u0435\u0451 \u2014 \u0438\u0433\u0440\u043e\u0432\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u043e\u0432 \u0432 \u0434\u0435\u043d\u044c. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0435\u0451 \u043c\u0443\u0447\u0430\u043b\u0438 \u043c\u0430\u0439\u043d\u0435\u0440\u044b, \u043f\u043e\u0442\u043e\u043c \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u044b \u0418\u0418. \u042d\u0442\u043e\u00a0<strong>\u043d\u0435<\/strong>\u00a0\u0448\u0442\u0430\u0442\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>V100 \u0443\u0436\u0435 \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0432 \u0414\u0426 \u0441\u0432\u043e\u044e \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u0438 \u043f\u0440\u0438\u0435\u0445\u0430\u043b\u0430 \u0432 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u043a\u0438\u0442\u0430\u0439\u0446\u0430\u043c\u0438. RTX 3090 \u0431\/\u0443 \u2014 \u044d\u0442\u043e \u043b\u0438\u0431\u043e \u00ab\u0431\u044b\u043b\u0430 \u0443 \u043c\u0430\u0439\u043d\u0435\u0440\u0430\u00bb, \u043b\u0438\u0431\u043e \u00ab\u0438\u0437-\u043f\u043e\u0434 \u0433\u0435\u0439\u043c\u0435\u0440\u0430, \u0442\u0435\u043f\u0435\u0440\u044c \u0447\u0443\u0436\u043e\u043c\u0443 \u0434\u044f\u0434\u0435\u00bb. \u041c\u044b V100 \u0434\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 2017 \u0433\u043e\u0434 \u0432\u044b\u043f\u0443\u0441\u043a\u0430.<\/p>\n<p>\u042d\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442 \u043f\u043e \u0436\u0435\u043b\u0435\u0437\u0443. \u041f\u043e \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0438 \u0441\u043e\u0444\u0442\u0443 \u0443 3090 \u0441\u0432\u043e\u0438 \u043f\u043b\u044e\u0441\u044b (24 \u0413\u0411 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043d\u0430 7B fp16 + 14B AWQ, \u0435\u0441\u0442\u044c \u043d\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u0432\u0435\u0436\u0438\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432). \u0412\u044b\u0431\u043e\u0440 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u00ab3090 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043b\u0443\u0447\u0448\u0435\u00bb \u2014 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435.<\/p>\n<h4>\u041c\u0438\u043d\u0443\u0441\u044b V100 \u2014 4 \u043f\u0443\u043d\u043a\u0442\u0430<\/h4>\n<p>\u0427\u0442\u043e\u0431\u044b \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0430 \u043f\u0440\u043e\u043f\u0430\u0433\u0430\u043d\u0434\u043e\u0439, \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u043c \u043c\u0438\u043d\u0443\u0441\u044b.<\/p>\n<ol>\n<li>\n<p><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 2\u20133 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u0430\u0434 (Volta cc 7.0).<\/strong>\u00a0\u041d\u0435\u0442 \u043d\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e\u00a0<strong>FP8<\/strong>, \u043d\u0435\u0442\u00a0<strong>FP4 \/ MXFP4 \/ NVFP4<\/strong>, \u043d\u0435\u0442 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 tensor cores. \u0421\u0432\u0435\u0436\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<strong>\u0432 \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u0430\u0445<\/strong>\u00a0(gpt-oss-20b\/120b \u0432 MXFP4, Nemotron \u0432 NVFP4, \u043b\u044e\u0431\u0430\u044f Llama-FP8) \u0447\u0435\u0440\u0435\u0437 vLLM \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043d\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f. \u0427\u0435\u0440\u0435\u0437 Ollama GGUF Q4 \u2014 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437 \u043d\u0438\u0445 \u0435\u0434\u0435\u0442 (\u0442\u043e\u0442 \u0436\u0435 gpt-oss:20b \u0443 \u043d\u0430\u0441 \u0432\u044b\u0434\u0430\u043b 106.8 tps, gpt-oss:120b \u2014 74.7 tps \u043d\u0430 \u0442\u0440\u0451\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430). \u0414\u043b\u044f vLLM-\u0441\u0442\u0435\u043a\u0430 \u0438\u0449\u0438\u0442\u0435 AWQ\/GPTQ-\u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0443 \u0438\u043b\u0438 \u0433\u043e\u043d\u044f\u0439\u0442\u0435 \u0432 fp16\/bf16.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0435\u043c\u043e\u0440\u0440\u043e\u0439 \u0441 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u043c\u0438.<\/strong>\u00a0vLLM \u043d\u0430 \u0441\u0432\u0435\u0436\u0438\u0445 \u0432\u0435\u0442\u043a\u0430\u0445 Volta \u0443\u0436\u0435 \u043d\u0435 \u0434\u0435\u0440\u0436\u0438\u0442, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e (\u0441\u043c. \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437\u0434\u0435\u043b). \u0413\u0434\u0435-\u0442\u043e \u0444\u0438\u0447\u0438 \u043d\u0435\u0442, \u0433\u0434\u0435-\u0442\u043e \u0441\u0432\u0435\u0436\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0432 \u0440\u0435\u0435\u0441\u0442\u0440\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442. \u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u043e\u0434 V100 \u2014 \u044d\u0442\u043e \u0447\u0442\u0435\u043d\u0438\u0435 issue-\u0442\u0440\u0435\u043a\u0435\u0440\u043e\u0432 \u0438 \u0444\u043e\u0440\u0443\u043c\u043e\u0432 \u043d\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043a\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043d\u0438\u0436\u0435.<\/strong>\u00a0HBM2 \u0443 V100 \u2014 900 GB\/s. \u0423 A100 \u2014 1.5\u20132 TB\/s, \u0443 H100 \u2014 3 TB\/s, \u0443 B200 \u2014 8 TB\/s. NVLink \u043d\u0430 TP \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0432\u044b\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442, \u043d\u043e \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u0435 \u043f\u0430\u043c\u044f\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u0440\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\/\u0443 \u0438\u0437 \u0414\u0426.<\/strong>\u00a024\/7 \u0437\u0430 \u043f\u043b\u0435\u0447\u0430\u043c\u0438, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u043a\u0430\u0437\u0430 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0443 \u043d\u043e\u0432\u043e\u0439 \u043a\u0430\u0440\u0442\u044b. \u0417\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c\u0441\u044f \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c \u043d\u0430 \u0437\u0430\u043c\u0435\u043d\u0443, mission-critical \u043a\u043e\u043d\u0442\u0443\u0440 \u043d\u0430 V100 \u043d\u0435 \u0441\u0442\u0440\u043e\u0438\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u2014 \u043a \u0441\u0430\u043c\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435: \u0441\u043c\u0435\u0442\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f.<\/p>\n<hr\/>\n<h3>\u0416\u0435\u043b\u0435\u0437\u043e: \u0441\u043c\u0435\u0442\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a<\/h3>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u2014 \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0441\u043c\u0435\u0442\u0430. \u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u043c \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c \/ \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0426\u0435\u043d\u0430 \u20bd<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>GPU<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2\u00d7\u00a0<strong>Tesla V100 32GB<\/strong>\u00a0\u0432 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0435 OLOEY (SXM2-\u0447\u0438\u043f \u043d\u0430 PCIe-\u043f\u043b\u0430\u0442\u0435 \u0441 \u0442\u0443\u0440\u0431\u0438\u043d\u043e\u0439)<\/p>\n<\/td>\n<td>\n<p align=\"left\">137 254<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u0430\u0442\u0435\u0440\u0438\u043d\u043a\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">ASUS ROG (Z490\/Z590, LGA1200), \u0431\/\u0443 \u0441 \u0410\u0432\u0438\u0442\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">27 000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>CPU<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Intel\u00a0<strong>Core i7-10700K<\/strong>\u00a0(8c\/16t, 16 PCIe 3.0 lanes), \u0431\/\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">~13 000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>RAM<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">4\u00d7 16 GB DDR4-3200 CL16 = 64 GB (Kingston Fury Beast \/ Patriot)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~15 600<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0411\u041f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1000W 80+ Gold (be quiet! Straight Power \/ Corsair RM1000x)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~14 000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u0440\u043f\u0443\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Full Tower \u2014 \u0441\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0438\u043f\u043e\u0440\u0430\u0437\u043c\u0435\u0440 \u041f\u041a-\u043a\u043e\u0440\u043f\u0443\u0441\u0430 (Zalman \/ Deepcool \/ Cooler Master)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~10 000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>SSD<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">NVMe 1 TB<\/p>\n<\/td>\n<td>\n<p align=\"left\">~5 000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0418\u0422\u041e\u0413\u041e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\"><strong>~221 854 \u20bd<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435\u043c \u0438 \u043f\u043e\u0434\u0431\u043e\u0440\u043e\u043c \u0431\/\u0443-\u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432 (RAM \u043d\u0430 \u0441\u0442\u043e\u043a\u0430\u0445, \u0411\u041f \u0431\/\u0443, SATA SSD \u0432\u043c\u0435\u0441\u0442\u043e NVMe) \u0441\u0431\u043e\u0440\u043a\u0430 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u00a0<strong>200 000 \u20bd<\/strong>. \u041e\u0442\u0441\u044e\u0434\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>\u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u2014 \u0447\u0442\u043e \u0435\u0449\u0451 \u0434\u0430\u0451\u0442 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0439 \u043e\u0431\u044a\u0451\u043c VRAM:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0412\u0430\u0440\u0438\u0430\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">VRAM<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0426\u0435\u043d\u0430 \u20bd<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>2\u00d7 Tesla V100 32GB (\u043d\u0430\u0448\u0430 \u0441\u0431\u043e\u0440\u043a\u0430)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>64 \u0413\u0411<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>~200 000<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2\u00d7 RTX 4090 24GB \u043d\u043e\u0432\u044b\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">48 \u0413\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">~600 000\u2013700 000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1\u00d7 H100 80GB \u0434\u0430\u0436\u0435 \u0431\/\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">80 \u0413\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1 500 000\u20132 500 000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Mac Studio M3 Ultra 128GB (MLX-\u0441\u0442\u0435\u043a, \u043d\u0435 CUDA)<\/p>\n<\/td>\n<td>\n<p align=\"left\">128 \u0413\u0411<\/p>\n<\/td>\n<td>\n<p align=\"left\">~600 000<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 V100 \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043a 64 \u0413\u0411 VRAM \u043d\u0430 CUDA \u0437\u0430 200\u043a \u20bd. \u0414\u043e\u0440\u043e\u0436\u0435 \u2014 \u0435\u0441\u0442\u044c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u2014 \u043d\u0435\u0442.<\/p>\n<h4>i7<\/h4>\n<p> \u0417\u0434\u0435\u0441\u044c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u044b\u0439\u00a0<strong>i7-10700K<\/strong>\u00a0\u043d\u0430 Z490\/Z590, \u0432\u0441\u0451 \u043d\u0430 \u0410\u0432\u0438\u0442\u043e, ~55\u043a \u20bd \u0437\u0430 \u0441\u0432\u044f\u0437\u043a\u0443 \u043c\u0430\u0442\u044c + \u0426\u041f\u0423.<\/p>\n<p>\u042d\u0442\u043e \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0430 \u043d\u0435 \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u043d\u0430\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f. \u0422\u0435\u0437\u0438\u0441 \u043f\u0440\u043e\u0441\u0442\u043e\u0439:\u00a0<strong>\u0431\u044e\u0434\u0436\u0435\u0442\u043d\u044b\u0439 \u0418\u0418-\u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435, \u043d\u0435 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439<\/strong>. \u041f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u044d\u0442\u043e\u0433\u043e \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0441 \u0433\u043e\u043b\u043e\u0432\u043e\u0439, \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0447\u0438\u0432\u0430\u0442\u044c \u0437\u0430 ECC, 128 PCIe-\u043b\u0438\u043d\u0438\u0439 \u0438 8 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u2014 \u043d\u0435\u043a\u0443\u0434\u0430.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 2 \u043a\u0430\u0440\u0442\u044b, \u0430 \u043d\u0435 1 \u0438\u043b\u0438 4<\/h4>\n<p>\u0412\u0437\u044f\u043b\u0438 \u0434\u0432\u0435 \u0441\u0440\u0430\u0437\u0443. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u0430\u044f: \u043d\u0430 \u043c\u0430\u0442\u0435\u0440\u0438\u043d\u043a\u0435 \u0431\u044b\u043b\u043e \u0434\u0432\u0430 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0445 x16-\u0441\u043b\u043e\u0442\u0430, \u0430 \u043e\u0434\u043d\u0430 \u043a\u0430\u0440\u0442\u0430 \u0431\u044b\u043b\u0430 \u043f\u043b\u0430\u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u043d\u043e\u0439 \u0442\u0440\u0435\u0441\u043d\u0443\u0432\u0448\u0435\u0433\u043e \u0447\u0438\u043f\u0430 \u043d\u0430 3090. \u0420\u0430\u0437 \u0443\u0436 \u043b\u0435\u0437\u0442\u044c \u0432 \u0431\/\u0443, \u0442\u043e \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u043b\u0435\u0437\u0430\u0435\u0442. \u0417\u0430\u043e\u0434\u043d\u043e \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0443 \u0433\u043e\u043d\u044f\u0442\u044c \u00ab\u0436\u0438\u0440\u043d\u044b\u0435\u00bb \u0442\u0435\u0441\u0442\u044b \u0441 TP=2 (tensor parallelism).<\/p>\n<blockquote>\n<p>\u0421\u0430\u043c\u043e\u0438\u0440\u043e\u043d\u0438\u044f: \u0441\u0432\u043e\u0435\u043c\u0443 \u0436\u0435 \u0441\u043e\u0432\u0435\u0442\u0443 \u00ab\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0430\u0440\u0435\u043d\u0434\u0443\u0439\u0442\u0435 \u043e\u0431\u043b\u0430\u043a\u043e, \u043f\u043e\u0433\u043e\u043d\u044f\u0439\u0442\u0435 \u0441\u0432\u043e\u0439 \u043f\u0440\u043e\u0434, \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043a\u0443\u043f\u0430\u0439\u0442\u0435 \u0436\u0435\u043b\u0435\u0437\u043e\u00bb \u2014 \u043c\u044b \u0438 \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438. \u0412\u0437\u044f\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u043a\u0430\u0440\u0442\u044b \u043d\u0430 \u0410\u0432\u0438\u0442\u043e \u0431\u0435\u0437 \u043e\u0431\u043b\u0430\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430. \u041e\u0431 \u044d\u0442\u043e\u043c \u0435\u0449\u0451 \u043f\u043e\u0436\u0430\u043b\u0435\u043b\u0438, \u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b \u00ab\u0427\u0442\u043e \u0431\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438\u00bb.<\/p>\n<\/blockquote>\n<h4>\u041f\u0440\u043e \u0411\u041f<\/h4>\n<p>\u0423 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 \u0441\u0442\u043e\u0438\u0442\u00a0<strong>be quiet! Dark Power Pro 12 1200W 80+ Titanium<\/strong>, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0438\u0437 \u0431\u044e\u0434\u0436\u0435\u0442\u043d\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0438 \u2014 \u0411\u041f \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u043e\u0442 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0434\u043e\u043a\u0438\u043d\u0443\u043b\u0438. \u0414\u043b\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u044f \u0441 \u043d\u0443\u043b\u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0411\u041f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0426\u0435\u043d\u0430 \u043d\u043e\u0432. \u20bd<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">be quiet! Straight Power 11\/12 1000W<\/p>\n<\/td>\n<td>\n<p align=\"left\">1000W<\/p>\n<\/td>\n<td>\n<p align=\"left\">80+ Gold<\/p>\n<\/td>\n<td>\n<p align=\"left\">~13\u201315\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Corsair RM1000x<\/p>\n<\/td>\n<td>\n<p align=\"left\">1000W<\/p>\n<\/td>\n<td>\n<p align=\"left\">80+ Gold<\/p>\n<\/td>\n<td>\n<p align=\"left\">~14\u201316\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">be quiet! Straight Power 12 1200W<\/p>\n<\/td>\n<td>\n<p align=\"left\">1200W<\/p>\n<\/td>\n<td>\n<p align=\"left\">80+ Platinum<\/p>\n<\/td>\n<td>\n<p align=\"left\">~17\u201320\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>(\u0443 \u043d\u0430\u0441 \u043b\u0438\u0447\u043d\u043e) be quiet! Dark Power Pro 12 1200W<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1200W<\/p>\n<\/td>\n<td>\n<p align=\"left\">80+ Titanium<\/p>\n<\/td>\n<td>\n<p align=\"left\">~38\u201345\u043a<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u0434\u0441\u0447\u0451\u0442 \u043f\u043e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435. 2\u00d7 V100 SXM2 \u0432 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442 TDP \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0438 \u0434\u0430\u044e\u0442\u00a0<strong>600 W \u0432 \u043f\u0438\u043a\u0435<\/strong>\u00a0(2 \u00d7 300 W). i7-10700K \u0432 PL2 \u2014 \u044d\u0442\u043e \u0435\u0449\u0451 125\u2013200 W. \u041c\u0430\u0442\u0435\u0440\u0438\u043d\u043a\u0430, NVMe, RAM \u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u043d\u044b\u0435 \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440\u044b \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0442\u044f\u043d\u0443\u0442 ~75\u2013100 W.\u00a0<strong>\u0418\u0442\u043e\u0433\u043e \u043f\u0438\u043a ~800\u2013900 W.<\/strong>\u00a01000W 80+ Gold \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c 100\u2013200W \u2014 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f. Titanium-\u0442\u043e\u043f \u0432 \u0431\u044e\u0434\u0436\u0435\u0442\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u2014 \u043e\u0432\u0435\u0440\u043a\u0438\u043b\u043b.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7cc\/af0\/315\/7ccaf03150d9955feb083921115ef03f.jpeg\" alt=\"\u0411\u041f \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u043f\u043b\u0430\u043d\u043e\u043c \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435\" width=\"1500\" height=\"1125\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/7cc\/af0\/315\/7ccaf03150d9955feb083921115ef03f.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7cc\/af0\/315\/7ccaf03150d9955feb083921115ef03f.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0411\u041f \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u043f\u043b\u0430\u043d\u043e\u043c \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435<\/figcaption><\/div>\n<\/figure>\n<h4>\u041f\u0440\u043e RAM \u2014 \u043f\u043e\u0447\u0435\u043c\u0443 64 \u0413\u0411, \u0430 \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435<\/h4>\n<p>Z490\/Z590 + i7-10700K \u2014 \u044d\u0442\u043e\u00a0<strong>DDR4<\/strong>,\u00a0<strong>non-ECC<\/strong>\u00a0(i7 \u0441\u0435\u0440\u0438\u0438 K ECC \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442). 2 \u043a\u0430\u043d\u0430\u043b\u0430, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c 4 \u0441\u043b\u043e\u0442\u0430. \u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u043f\u043b\u0430\u0442 \u043f\u0440\u0438 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0440\u0435\u0436\u0435\u0442\u0441\u044f \u0434\u043e 2666 MT\/s \u2014 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c LGA1200. \u0414\u043b\u044f AI-\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e: \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u2014 \u044d\u0442\u043e PCIe \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438, \u0430 \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f RAM.<\/p>\n<p>64 \u0413\u0411 (4\u00d7 16 GB) \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442 Whisper-large + Pyannote \u0441 \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 LLM-\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u043c, \u043f\u043b\u044e\u0441 HuggingFace-\u043a\u044d\u0448 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u0438 load\/unload \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438 \u0431\u0435\u043d\u0447\u0435\u0439, \u043f\u043b\u044e\u0441 swap. \u0411\u0440\u0430\u0442\u044c \u0432\u044b\u0448\u0435 64 \u0413\u0411 \u043d\u0430 \u044d\u0442\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u2014 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043d\u0435 \u0442\u0443\u0434\u0430.<\/p>\n<hr\/>\n<h3>\u0413\u0440\u0430\u0431\u043b\u0438 Volta: vLLM-\u0441\u0442\u0435\u043a, \u0447\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \/ \u0447\u0442\u043e \u043d\u0435\u0442<\/h3>\n<p>\u0421\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u0434\u0435\u043b. \u041d\u0430 Volta cc 7.0 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0441\u0432\u0435\u0436\u0435\u0433\u043e ML-\u0441\u0442\u0435\u043a\u0430 \u043b\u0438\u0431\u043e \u043d\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f, \u043b\u0438\u0431\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0438 \u0442\u0438\u0445\u043e \u0432\u044b\u0434\u0430\u0451\u0442 \u043c\u0443\u0441\u043e\u0440 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435. \u041c\u044b \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u043b\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u0435\u0440\u0441\u0438\u0439, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u043a\u0430\u0442\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443.<\/p>\n<h4>\u0412\u0435\u0440\u0441\u0438\u0438 \u0445\u043e\u0441\u0442\u0430 \u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0412\u0435\u0440\u0441\u0438\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Driver NVIDIA<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>570.211.01<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">CUDA<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>12.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">OS<\/p>\n<\/td>\n<td>\n<p align=\"left\">Ubuntu 24.04 LTS, kernel 6.8<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Python<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.10 (upstream-\u0441\u0442\u0435\u043a), 3.12 (1Cat-fork \u0441\u0442\u0435\u043a)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">PyTorch<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.5\u20132.7 (cu128) \u0434\u043b\u044f upstream,\u00a0<strong>2.9.1+cu128<\/strong>\u00a0\u0434\u043b\u044f 1Cat<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h4>\u041a\u0430\u043a\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e vLLM \u0431\u0440\u0430\u0442\u044c<\/h4>\n<p>\u041f\u0440\u043e\u0441\u0442\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u2014\u00a0<strong>\u043d\u0438\u043a\u0430\u043a\u0443\u044e \u0441\u0432\u0435\u0436\u0443\u044e<\/strong>. \u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u2014 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0412\u0435\u0440\u0441\u0438\u044f vLLM<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0442\u0430\u0442\u0443\u0441 \u043d\u0430 sm_70<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0441 \u043d\u0435\u0439<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u2264 0.18.x<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0432\u0435\u0442\u043a\u0430 \u0441 \u0447\u0435\u0441\u0442\u043d\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439\u00a0<code>sm_70<\/code>. \u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043a.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>0.17.0<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u043e\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0430 multimodal \u0447\u0435\u0440\u0435\u0437\u00a0<code>TRITON_ATTN<\/code>\u00a0\u043b\u043e\u0432\u0438\u0442\u0441\u044f deadlock \u043d\u0430 encoder profiling (<a href=\"https:\/\/github.com\/vllm-project\/vllm\/issues\/36357\" rel=\"noopener noreferrer nofollow\">vllm\/#36357<\/a>). \u041b\u0435\u0447\u0438\u0442\u0441\u044f \u043e\u0442\u043a\u0430\u0442\u043e\u043c \u043d\u0430 0.15.1 \u0438\u043b\u0438\u00a0<code>--skip-mm-profiling<\/code>.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>0.20.0+<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0441\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>sm_70<\/code>\u00a0\u0432\u044b\u043f\u0438\u043b\u0438\u043b\u0438 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043d\u0430 PyTorch 2.11 \/ CUDA 12.8 defaults (<a href=\"https:\/\/discuss.vllm.ai\/t\/support-for-v100-sm-70-on-vllm-0-20\/2605\" rel=\"noopener noreferrer nofollow\">discuss.vllm.ai\/t\/2605<\/a>).<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><a href=\"https:\/\/github.com\/1CatAI\/1Cat-vLLM\" rel=\"noopener noreferrer nofollow\"><strong>1Cat-vLLM 0.0.3<\/strong><\/a><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434 AWQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">Fork \u043f\u043e\u0434 V100:\u00a0<strong>WMMA SM70 kernels<\/strong>\u00a0\u043e\u0442 LMDeploy TurboMind \u0434\u043b\u044f AWQ + attention backend\u00a0<code>FLASH_ATTN_V100<\/code>. \u041d\u0430\u0448 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0442\u0435\u043a \u0434\u043b\u044f AWQ-\u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043d\u0430 \u0445\u043e\u0441\u0442\u0435 \u0443 \u043d\u0430\u0441\u00a0<strong>\u0434\u0432\u0430 venv<\/strong>:<\/p>\n<ol>\n<li>\n<p><code>.venv-base<\/code>\u00a0\u2014 vLLM 0.18.x upstream + PyTorch 2.7. \u0422\u044f\u043d\u0435\u0442 \u0432\u0441\u0451 \u043d\u0430 FP16 \u0438 \u0432\u0435\u0441\u044c GPTQ.<\/p>\n<\/li>\n<li>\n<p><code>.venv-1cat<\/code>\u00a0\u2014 1Cat-vLLM 0.0.3 + PyTorch 2.9.1+cu128. \u0422\u044f\u043d\u0435\u0442 \u0432\u0441\u0451 \u043d\u0430 AWQ, \u0432\u043a\u043b\u044e\u0447\u0430\u044f Llama-3.3-70B-AWQ TP=2 \u0438 Qwen2.5-72B-AWQ TP=2.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 ENV \u0434\u043b\u044f Volta<\/h4>\n<pre><code class=\"bash\"># \u0411\u0430\u0437\u043e\u0432\u044b\u0435export VLLM_WORKER_MULTIPROC_METHOD=spawnexport HF_HOME=\/workspace\/hf_cacheexport HF_HUB_ENABLE_HF_TRANSFER=1# TP \u0431\u0435\u0437 NVLink (PCIe-only \u043c\u0435\u0436GPU)export NCCL_P2P_DISABLE=1export NCCL_IB_DISABLE=1export NCCL_CUMEM_ENABLE=0export NCCL_DEBUG=WARN# Attention \u043f\u043e\u0434 Volta \u2014 xformers, \u043d\u0435 Tritonexport VLLM_ATTENTION_BACKEND=XFORMERS# \u0414\u043b\u044f 1Cat-fork:# export VLLM_ATTENTION_BACKEND=FLASH_ATTN_V100# \u0412 \u043e\u0431\u043b\u0430\u043a\u0435 \u043d\u0430 NVLink \u2014 \u041d\u0415 \u0441\u0442\u0430\u0432\u0438\u0442\u044c NCCL_P2P_DISABLE=1, \u0438\u043d\u0430\u0447\u0435 NVLink \u043d\u0435 \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u0442\u0441\u044f<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u041e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u043b\u0430\u0433\u0438\u00a0vllm serve<\/h4>\n<pre><code>--dtype=half               # BF16 \u043d\u0430 cc 7.0 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u2014 \u0432\u0435\u0437\u0434\u0435 FP16--enforce-eager            # \u0447\u0430\u0441\u0442\u044c CUDA-\u0433\u0440\u0430\u0444\u043e\u0432 \u043f\u043e\u0434 Volta \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0430, \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c--disable-custom-all-reduce  # custom AR \u0442\u0440\u0435\u0431\u0443\u0435\u0442 NVLink; \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 \u0431\u0435\u0437 NVLink \u2014 \u0441\u043d\u0438\u043c\u0430\u0435\u043c--gpu-memory-utilization 0.90  # 0.92+ \u0447\u0430\u0441\u0442\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 xformers workspace, \u043b\u043e\u0432\u0438\u043c OOM \u043d\u0430 TP<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0421\u0432\u043e\u0434\u043a\u0430 \u043f\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f\u043c<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">Quant<\/p>\n<\/th>\n<th>\n<p align=\"left\">Volta cc 7.0<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">FP16<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BF16<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u043e\u043b\u044c\u043a\u043e cc 8.0+; \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u043c\u00a0<code>--dtype=half<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">AWQ INT4 (upstream)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">Marlin \u0442\u0440\u0435\u0431\u0443\u0435\u0442 cc 7.5+<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">AWQ INT4 (1Cat-fork)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">WMMA SM70 kernels \u2014 \u043d\u0430\u0448 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0443\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GPTQ INT4<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0430\u043c\u044b\u0439 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u2014 Volta \u0434\u043e Hopper<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">W4A16 (RedHatAI)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0442\u0440\u0430\u0445\u043e\u0432\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u043b\u044f int4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">FP8 W8A8<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442 hardware FP8 cores \u2014 \u0442\u043e\u043b\u044c\u043a\u043e Hopper+<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MXFP4<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u0447\u0435\u0440\u0435\u0437 vLLM)<\/p>\n<\/td>\n<td>\n<p align=\"left\">gpt-oss-20b \/ 120b \u0432 \u043d\u0430\u0442\u0438\u0432\u043d\u043e\u043c MXFP4 \u0432 vLLM \u043d\u0435 \u043f\u043e\u0439\u0434\u0443\u0442 \u2014 \u0447\u0435\u0440\u0435\u0437 Ollama GGUF Q4 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">NVFP4<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">Nemotron-NVFP4 \u2014 garbled output (<a href=\"https:\/\/github.com\/vllm-project\/vllm\/issues\/34694\" rel=\"noopener noreferrer nofollow\">vllm\/#34694<\/a>)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h4>FlashAttention<\/h4>\n<p>FA2 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 cc 8.0+, \u043d\u0430 Volta \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041e\u0441\u0442\u0430\u0451\u0442\u0441\u044f\u00a0<strong>xformers<\/strong>\u00a0\u043a\u0430\u043a \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 backend (\u0441\u00a0<code>--enforce-eager<\/code>\u00a0\u0438\u043b\u0438 \u0447\u0435\u0440\u0435\u0437\u00a0<code>VLLM_ATTENTION_BACKEND=XFORMERS<\/code>) \u0438\u00a0<strong>FLASH_ATTN_V100<\/strong>\u00a0\u0438\u0437 1Cat-fork \u0441 WMMA tensor ops.<\/p>\n<p>\u041f\u043e\u0434 \u043d\u0430\u0448 \u043d\u0430\u0431\u043e\u0440 \u0437\u0430\u0434\u0430\u0447 (FP16 \u0434\u043b\u044f \u043c\u0435\u043b\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 + AWQ \u0447\u0435\u0440\u0435\u0437 1Cat \u0434\u043b\u044f \u043a\u0440\u0443\u043f\u043d\u044b\u0445 + GPTQ \u043a\u0430\u043a \u0441\u0442\u0440\u0430\u0445\u043e\u0432\u043a\u0430) \u044d\u0442\u043e\u0433\u043e \u0445\u0432\u0430\u0442\u0430\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0442\u0435\u043d\u0434 \u0434\u043e 70B \u043d\u0430 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442\u0430\u0445 \u0434\u043e\u043c\u0430 \u0438 \u0434\u043e 70B \u043d\u0430 TP=4 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435.<\/p>\n<h4>SHM-wall: \u043f\u043e\u0447\u0435\u043c\u0443 vLLM \u0432 \u0438\u0442\u043e\u0433\u0435 \u043d\u0435 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043d\u0430\u0448 \u0441\u0442\u0435\u043a<\/h4>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0433\u0435\u043c\u043e\u0440\u0440\u043e\u0439 \u0432 \u043d\u0435\u0431\u0435\u0437\u044b\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0438 \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u044d\u0442\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 vLLM. \u0410 \u0435\u0441\u043b\u0438 \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u043e \u2014 \u043c\u044b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b\u0438 \u043d\u0430 vLLM-\u0441\u0442\u0435\u043a \u0440\u043e\u0432\u043d\u043e \u043d\u0435\u0434\u0435\u043b\u044e, \u0438 \u043f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0448\u043b\u0438 \u043d\u0430 Ollama. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n<p>\u0412 \u0447\u0451\u043c \u0441\u0443\u0442\u044c. \u041d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 2017 \u0433\u043e\u0434\u0430 \u043c\u044b \u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044e 2023 \u0433\u043e\u0434\u0430. \u042d\u0442\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u043d\u0430 \u00ab\u0431\u0443\u0445\u0430\u043d\u043a\u0443\u00bb \u043f\u0440\u0438\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c CarPlay \u2014 \u043c\u043e\u0436\u0435\u0442 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u043d\u043e \u043f\u0440\u043e\u0449\u0435 \u043a\u0443\u043f\u0438\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443, \u0447\u0435\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043d\u0446\u0430\u043c\u0438 \u0441 \u0431\u0443\u0431\u043d\u0430\u043c\u0438. Tesla V100 \u2014 \u044d\u0442\u043e\u00a0<strong>Volta SM 7.0<\/strong>, \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u0435 \u0434\u043e Turing, \u0434\u043e Ampere, \u0434\u043e Hopper. \u0410 vLLM \u0441 paged-attention \u0438 \u044f\u0434\u0440\u043e\u043c flash-attn-V100 \u0437\u0430\u0442\u043e\u0447\u0435\u043d \u043f\u043e\u0434\u00a0<strong>Ampere SM 8.0 \/ Hopper SM 9.0<\/strong>: \u0443 \u0442\u0435\u0445 \u0447\u0438\u043f\u043e\u0432 164\u2013228 \u041a\u0411 shared memory \u043d\u0430 \u0431\u043b\u043e\u043a CUDA, \u0430 \u0443 Volta \u0432\u0441\u0435\u0433\u043e\u00a0<strong>96 \u041a\u0411<\/strong>. \u042d\u0442\u043e \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043b\u043e\u043a, \u043f\u0430\u0442\u0447\u0435\u043c\u00a0<code>.so<\/code>\u00a0\u043d\u0435 \u043b\u0435\u0447\u0438\u0442\u0441\u044f, \u043a\u0440\u043e\u043c\u0435 \u043a\u0430\u043a \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u0442\u044c \u044f\u0434\u0440\u043e \u043f\u043e\u0434\u00a0<code>BLOCK_N=64<\/code>\u0440\u0443\u043a\u0430\u043c\u0438 \u2014 \u0438 \u0442\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0443\u0436\u0435 \u043d\u0435 \u00ab\u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c\u00bb, \u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u043c GPU-\u044f\u0434\u0435\u0440.<\/p>\n<p>\u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0440\u0435\u0437 \u043f\u043e 1Cat-vLLM 0.0.3 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u043c\u0443\u0447\u0435\u043d\u0438\u0439:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 vLLM 1cat 0.0.3<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3.6-27B-AWQ (head_dim=256) \u2014 \u043b\u044e\u0431\u0430\u044f \u0434\u043b\u0438\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Qwen2.5-32B-AWQ (&gt;1100 \u0442\u043e\u043a.) \u2014 \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043d\u0430 96 \u041a\u0411 SHM<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3.6-35B-A3B-AWQ MoE (head_dim=256)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Qwen2.5-Coder-32B-AWQ (&gt;1100 \u0442\u043e\u043a.)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5-1.5B \/ 7B \/ 14B-AWQ (\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 prompts)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Llama-3.3-70B-AWQ TP=2 (&gt;1800 tok)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3-Coder-30B-A3B MoE (\u22641800 tok)<\/p>\n<\/td>\n<td>\n<p align=\"left\">DS-R1-Distill-Llama-70B-AWQ TP=2 (&gt;1800 tok)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5-72B-AWQ TP=2 (\u22641850 tok)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Qwen2.5-VL-72B-AWQ \u2014 instant crash \u043d\u0430 startup<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u0430\u0433\u0438\u044f \u0432\u00a0<code>head_dim<\/code>. \u0414\u043b\u044f \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430\u00a0<strong>Qwen3.6<\/strong>\u00a0\u0441\u00a0<code>head_dim=256<\/code>\u00a01Cat-vLLM \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u0434\u043b\u0438\u043d\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u0430: \u0440\u0430\u0441\u043a\u043b\u0430\u0434 shared memory \u0432 \u044f\u0434\u0440\u0435 \u0434\u0440\u0443\u0433\u043e\u0439, \u0432\u043b\u0435\u0437\u0430\u0435\u0442. \u0414\u043b\u044f\u00a0<strong>\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0430\u0441\u0441\u044b AWQ-\u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/strong>\u00a0\u0441\u00a0<code>head_dim=128<\/code>\u00a0\u2014 Qwen2.5\/Coder-32B, Llama-3.3-70B, Mistral-Small-24B \u2014 \u044d\u0442\u043e \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043b\u043e\u043a: \u044f\u0434\u0440\u043e\u00a0<code>flash_attn_v100_cuda.prefill_paged_fwd<\/code>\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 101 \u041a\u0411 shared memory \u043d\u0430 \u0431\u043b\u043e\u043a \u043f\u0440\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u043c prefill, \u0443 V100 \u043f\u043e\u0442\u043e\u043b\u043e\u043a 96 \u041a\u0411. \u041b\u044e\u0431\u043e\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0434\u043b\u0438\u043d\u043d\u0435\u0435 ~1100\u20131800 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u00a0<code>RuntimeError: Shared memory exceeds 96KB<\/code>.<\/p>\n<p>\u041f\u0440\u044f\u043c\u0430\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u0440 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 Qwen2.5-Coder-32B AWQ \u0447\u0435\u0440\u0435\u0437 1Cat-vLLM \u043f\u0440\u043e\u0442\u0438\u0432 \u0442\u043e\u0433\u043e \u0436\u0435 Qwen2.5-Coder-32B Q4_K_M \u0447\u0435\u0440\u0435\u0437 Ollama:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">input prompt<\/p>\n<\/th>\n<th>\n<p align=\"left\">vLLM AWQ tps<\/p>\n<\/th>\n<th>\n<p align=\"left\">Ollama Q4_K_M tps<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0414\u0435\u043b\u044c\u0442\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">200 tok<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.75<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0430\u0440\u0438\u0442\u0435\u0442 (\u22123%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">~1100 tok<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.24<\/p>\n<\/td>\n<td>\n<p align=\"left\">Ollama +32%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1500 tok<\/p>\n<\/td>\n<td>\n<p align=\"left\">crash<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.97<\/p>\n<\/td>\n<td>\n<p align=\"left\">Ollama only<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1800 tok<\/p>\n<\/td>\n<td>\n<p align=\"left\">crash<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.82<\/p>\n<\/td>\n<td>\n<p align=\"left\">Ollama only<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8 000 tok<\/p>\n<\/td>\n<td>\n<p align=\"left\">crash<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.15<\/p>\n<\/td>\n<td>\n<p align=\"left\">Ollama only<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">32 000 tok<\/p>\n<\/td>\n<td>\n<p align=\"left\">crash<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>21.68<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Ollama only<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u0445 vLLM \u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0430\u0440\u0438\u0442\u0435\u0442, \u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 1100+ \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0443\u0436\u0435 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 Ollama \u043d\u0430 \u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0430 1500+ \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0430\u0434\u0430\u0435\u0442. \u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430 \u0441 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438 \u0437\u0432\u043e\u043d\u043a\u043e\u0432 (3\u201314 \u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435) \u2014 \u043d\u0435\u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0442\u0435\u043a.<\/p>\n<p>Concurrency \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u043a\u0430\u0440\u0442\u0438\u043d\u044b (Ollama,\u00a0<code>OLLAMA_NUM_PARALLEL=4<\/code>, single V100):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0443\u043c\u043c\u0430\u0440\u043d\u043e, tok\/s<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.99<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.88<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.14<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">16<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.32 (\u043f\u043e\u0442\u043e\u043b\u043e\u043a)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Ollama \u0431\u0430\u0442\u0447\u0438\u0442 \u0434\u043e 4 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445, \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u044c. \u0414\u043b\u044f \u043f\u0440\u043e\u0434\u0430 \u0441 10+ \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u044e\u0437\u0435\u0440\u043e\u0432 \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 prompts vLLM \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u043e aggregate \u00d72.5\u20135, \u043d\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u043d\u0430 \u043b\u044e\u0431\u044b\u0445 \u0434\u043b\u0438\u043d\u043d\u044b\u0445. \u0414\u043b\u044f \u043f\u0440\u043e\u0434\u0430 \u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438\u043b\u0438 \u22644 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u2014 Ollama \u043f\u043e\u0431\u0435\u0436\u0434\u0430\u0435\u0442 \u0431\u0435\u0437\u043e\u0433\u043e\u0432\u043e\u0440\u043e\u0447\u043d\u043e.<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435:\u00a0<strong>vLLM \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0432 \u043a\u0430\u0440\u043c\u0430\u043d\u0435<\/strong>\u00a0\u043f\u043e\u0434 \u0443\u0437\u043a\u0438\u0439 \u043f\u0443\u043b \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (Qwen3.6 head_dim=256, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b, \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c), \u0430\u00a0<strong>\u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u0431\u0435\u043d\u0447 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043d\u0430 Ollama<\/strong>\u00a0\u2014 \u043e\u043d \u0436\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u043e\u043b\u044c \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u0441\u0442\u0435\u043a\u0430 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435.<\/p>\n<hr\/>\n<h3>\u041a\u0430\u043a \u043c\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438<\/h3>\n<p>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443 \u0433\u043e\u043d\u044f\u0442\u044c \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u2014 \u043d\u0430\u0433\u043e\u043d\u044f\u043b\u0438 \u0435\u0451 \u0438 \u0431\u0435\u0437 \u043d\u0430\u0441. \u0411\u0435\u0440\u0451\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u0432\u043e\u043d\u043a\u043e\u0432 \u043a\u043e\u043b\u043b-\u0446\u0435\u043d\u0442\u0440\u0430: Whisper-large + Pyannote \u043a\u0440\u0443\u0442\u044f\u0442 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435, LLM \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0434\u0438\u0430\u043b\u043e\u0433 \u043f\u043e \u0447\u0435\u043a-\u043b\u0438\u0441\u0442\u0443 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439. \u041e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0437\u0432\u043e\u043d\u043e\u043a (\u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d) \u0440\u0435\u0436\u0435\u043c \u043d\u0430 4 \u0434\u043b\u0438\u043d\u044b \u2014\u00a0<code>short<\/code>\u00a0~3K \u0442\u043e\u043a\u0435\u043d\u043e\u0432,\u00a0<code>small<\/code>\u00a0~5K,\u00a0<code>medium<\/code>\u00a0~10K,\u00a0<code>large<\/code>\u00a0~14K \u2014 \u0438 \u0433\u043e\u043d\u044f\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0441\u0432\u044f\u0437\u043a\u0443. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u2014 output t\/s, TTFT, sustained, \u043f\u043b\u044e\u0441 JSON-\u0440\u0430\u0437\u0431\u043e\u0440 \u0434\u043b\u044f sanity-check.<\/p>\n<p>NVLink \u043d\u0430 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u0435\u00a0<strong>\u043d\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d<\/strong>\u00a0\u2014 \u043d\u0430 PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u0435\u0433\u043e \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043d\u0435 \u043a \u0447\u0435\u043c\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0436\u043a\u0430\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u043c\u0435\u043d \u0438\u0434\u0451\u0442 \u043f\u043e PCIe 3.0 x8 (~7.9 GB\/s \u2014 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 NVLink2 \u043d\u0430 300 GB\/s). \u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u043b\u0435\u0437\u00a0<strong>\u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 data parallelism<\/strong>, \u0430 \u043d\u0435 tensor:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">GPU<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u0430\u0434\u0430\u0447\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>GPU#0<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">STT-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d (Whisper-large-v3 + Pyannote-3.0, ~4\u20136 \u0413\u0411 VRAM)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>GPU#1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">LLM-\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 (Qwen2.5-7B fp16 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0430 + \u0441\u043b\u043e\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434 \u0431\u0435\u043d\u0447\u0438, ~14 \u0413\u0411 VRAM)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e\u00a0<strong>data\/task parallelism<\/strong>: \u0434\u0432\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442\u0430\u0445, \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u043e\u043c, \u043c\u0435\u0436GPU-\u043e\u0431\u043c\u0435\u043d\u0430 \u043d\u0435\u0442. \u041f\u043e\u0434 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u0432\u043e\u043d\u043a\u0430 \u0434\u0435\u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u2014 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442 \u0438\u0434\u0451\u0442 \u043e\u0442 STT-\u043a\u0430\u0440\u0442\u044b \u043a LLM-\u043a\u0430\u0440\u0442\u0435 \u0447\u0435\u0440\u0435\u0437 CPU\/RAM, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 JSON-\u0441\u043a\u043e\u0440\u0438\u043d\u0433. \u041f\u043e\u0434 TP=2 (\u043c\u043e\u0434\u0435\u043b\u044c &gt;32 \u0413\u0411) \u0442\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043d\u0434\u00a0<strong>\u043d\u0435 \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e<\/strong>\u00a0\u2014 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043f\u043e PCIe \u0440\u0435\u0436\u0435\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0439 tok\/s \u0432 3\u20135\u00d7 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e NVLink-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430. \u042d\u0442\u043e \u043c\u044b \u0437\u043d\u0430\u043b\u0438 \u0438\u0437 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u043f\u044b\u0442\u0430 \u043d\u0430 4\u00d7 4090: \u0434\u0430\u0436\u0435 PCIe 4.0 x16 \u0443\u0431\u0438\u0432\u0430\u043b TP, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u0432 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443.<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u043f\u043e \u0436\u0435\u043b\u0435\u0437\u0443. \u00ab\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439\u00bb \u043f\u0443\u0442\u044c \u043f\u043e\u0434 V100 \u2014\u00a0<strong>SXM2 + NVLink-backplane<\/strong>:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0443\u0442\u044c \u0410 (\u043d\u0430\u0448 PCIe-\u0441\u0442\u0435\u043d\u0434)<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0443\u0442\u044c \u0411 (SXM2 + NVLink)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0426\u0435\u043d\u0430 \u0437\u0430 2 \u043a\u0430\u0440\u0442\u044b + \u0441\u0432\u044f\u0437\u043a\u0430 + \u043e\u0445\u043b\u0430\u0434, \u20bd<\/p>\n<\/td>\n<td>\n<p align=\"left\">~137 254<\/p>\n<\/td>\n<td>\n<p align=\"left\">~145 792<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041b\u044e\u0431\u0430\u044f \u0441 2\u00d7 PCIe x16<\/p>\n<\/td>\n<td>\n<p align=\"left\">SXM2-mezzanine \u0438\u043b\u0438 \u0441\u043f\u0435\u0446. NVLink-\u043a\u043e\u0440\u043f\u0443\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0431\u043e\u0440\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00ab\u0412\u043e\u0442\u043a\u043d\u0443\u043b \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u00bb<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043e\u0431\u0432\u044f\u0437\u043a\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">NVLink<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u0430 (300 GB\/s \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TP=2 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u0442 (PCIe \u2014 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 TP=2<\/p>\n<\/td>\n<td>\n<p align=\"left\">~30B fp16 \/ 70B AWQ \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">70B+ \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0446\u0435\u043d\u0435 \u043a\u043e\u043f\u0435\u0435\u0447\u043d\u0430\u044f \u2014 8.5\u043a \u20bd, \u2014 \u043d\u043e \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435, \u0447\u0442\u043e \u0431\u0443\u0434\u0443\u0442 TP=2 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u041f\u0443\u0442\u044c \u0411 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u0435\u0435. \u0421\u0432\u043e\u044e \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0443\u044e \u043e\u0431\u0432\u044f\u0437\u043a\u0443 \u043f\u043e\u0434 SXM2 \u043c\u044b \u043d\u0435 \u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u2014 \u0442\u0430\u043c, \u0433\u0434\u0435 \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b \u0437\u0430\u043c\u0435\u0440 \u00ab\u0441 NVLink\u00bb, \u0430\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u043b\u0438 5 \u043f\u043e\u0434\u043e\u0432 \u043d\u0430 <a href=\"http:\/\/vast.ai\" rel=\"noopener noreferrer nofollow\">vast.ai<\/a> \u0441 2\u00d7 V100 SXM2 (\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u044f \u043a\u0430\u043a \u043f\u043e\u0432\u0435\u0437\u0451\u0442 \u2014 vast \u043d\u0435 \u0434\u0430\u0451\u0442 \u0444\u0438\u043b\u044c\u0442\u0440\u0430, \u043d\u0430\u043c \u0432\u044b\u043f\u0430\u043b\u043e 4 NVLink \u0438\u0437 5).<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u043f\u0440\u043e \u0441\u0430\u043c \u0431\u0435\u043d\u0447. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0443 \u043d\u0430\u0441 \u2014 \u043d\u0430\u00a0<strong>Ollama Q4_K_M \u0447\u0435\u0440\u0435\u0437 5 \u043f\u043e\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e<\/strong>: 108 LLM + 14 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a + 6 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0438\u0434\u0435\u043e + STT-\u0431\u043b\u043e\u043a. \u042d\u0442\u043e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d vLLM (\u0430 \u043d\u0430 V100 vLLM, \u043a\u0430\u043a \u043f\u043e\u043c\u043d\u0438\u043c, \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a 96 \u041a\u0411 shared memory \u043d\u0430\u00a0<code>head_dim=128<\/code>\u00a0\u0443\u0436\u0435 \u043d\u0430 32B AWQ-\u043c\u043e\u0434\u0435\u043b\u044f\u0445). \u0423\u0437\u043a\u0438\u0439 vLLM-\u0437\u0430\u043c\u0435\u0440 \u043d\u0430 \u0442\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u0433\u0434\u0435 \u043e\u043d \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0435\u0434\u0435\u0442, \u0438 \u0442\u043e\u0447\u043d\u043e\u0435 \u00abPCIe vs NVLink\u00bb \u0432 \u0447\u0438\u0441\u0442\u044b\u0445 \u0446\u0438\u0444\u0440\u0430\u0445 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u2014 \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0435\u0439 \u043f\u043e\u0437\u0436\u0435 (\u0440\u0435\u043f\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439, \u0446\u0438\u0444\u0440\u044b \u043f\u043e\u0434\u043b\u043e\u0436\u0438\u043c \u0442\u0443\u0434\u0430 \u0436\u0435).<\/p>\n<hr\/>\n<h3>\u0411\u0435\u043d\u0447: 128 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0435 V100<\/h3>\n<p>\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 vLLM-\u0441\u0442\u0435\u043a\u043e\u043c \u043c\u044b \u0443\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0447\u0435\u0440\u0435\u0437 Ollama. 108 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 Q4_K_M, 5 \u043f\u043e\u0434\u043e\u0432 <a href=\"http:\/\/vast.ai\" rel=\"noopener noreferrer nofollow\">vast.ai<\/a> \u0441 2\u00d7 V100 32GB SXM2 (\u0447\u0430\u0441\u0442\u044c \u0441 NVLink, \u0447\u0430\u0441\u0442\u044c \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u043c PCIe \u2014 vast \u043d\u0435 \u0434\u0430\u0451\u0442 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u043f\u043e NVLink, \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u044f \u043a\u0430\u043a \u043f\u043e\u0432\u0435\u0437\u0451\u0442), \u0432 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a, N=1. \u041f\u0440\u0438\u00a0<code>temperature=0<\/code>\u00a0\u0438 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435 \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0436\u0438\u043c\u043e \u043c\u0430\u043b\u0430 \u2014 \u043c\u044b \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 (CV \u2264 0.10%, \u0437\u0430\u043c\u0435\u0442\u043a\u0430 \u043f\u043e \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0443 \u2014 \u0432 \u0440\u0435\u043f\u043e).<\/p>\n<p>\u041a\u0430\u0436\u0434\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u043b\u0438 \u043d\u0430 4 \u0443\u0440\u043e\u0432\u043d\u044f\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0446\u0438\u044f\u0445 \u0438\u0437 \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u043e\u043b\u043b-\u0446\u0435\u043d\u0442\u0440\u0430: ~3K \/ 5K \/ 10K \/ 14K \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 + \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u0435\u0437\u0434\u0435 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b:\u00a0<code>num_predict=300<\/code>,\u00a0<code>num_ctx=22000<\/code>,\u00a0<code>OLLAMA_NUM_PARALLEL=1<\/code>,\u00a0<code>OLLAMA_FLASH_ATTENTION=1<\/code>,\u00a0<code>OLLAMA_KV_CACHE_TYPE=q8_0<\/code>. \u041f\u043e\u043b\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043d\u0430 \u0432\u0441\u0435 108 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0441\u044b\u0440\u044b\u0435 JSON \u2014 \u0432 \u0440\u0435\u043f\u043e\u00a0<code>pocketcoder-ch\/v100-benchmarks-2026\/docs\/FULL_<\/code><a href=\"http:\/\/REPORT.md\" rel=\"noopener noreferrer nofollow\"><code>REPORT.md<\/code><\/a>. \u041d\u0438\u0436\u0435 \u2014 \u0432\u044b\u0436\u0438\u043c\u043a\u0430 \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u0438 \u043f\u043e\u043b\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 128 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0432 \u043a\u043e\u043d\u0446\u0435.<\/p>\n<h4>\u0422\u043e\u043f-10 \u043f\u043e \u0447\u0438\u0441\u0442\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438<\/h4>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 (decode), \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e 4 \u0443\u0440\u043e\u0432\u043d\u044f\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Params<\/p>\n<\/th>\n<th>\n<p align=\"left\">Avg tps<\/p>\n<\/th>\n<th>\n<p align=\"left\">Pod<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>smollm2:135m<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.135 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>424<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>llama3.2:1b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.0 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>300<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>smollm2:360m<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.36 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>299<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>glm-ocr<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>263<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>gemma3:1b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.0 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>197<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>qwen3:0.6b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>190<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>smollm2:1.7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>175<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>qwen3:1.7b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>166<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>llama3.2:3b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">3.0 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>157<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>gemma3:4b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">4.0 B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>119<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">pod3<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u0430\u044f: \u0442\u043e\u043f \u0437\u0430\u0431\u0438\u0440\u0430\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e 2B, \u0433\u0434\u0435 decode \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043d\u0435 \u0432 \u043a\u0430\u0440\u0442\u0443, \u0430 \u0432 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c HBM2 (900 \u0413\u0411\/\u0441) \u0438 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0430. \u0421 4B \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u043b\u043e\u043c \u2014 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c.<\/p>\n<h4>5 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043b\u043e\u0448\u0430\u0434\u043e\u043a 7\u20139B<\/h4>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u044b\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e\u0434 \u043b\u043e\u043a\u0430\u043b\u043a\u0443: \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u0443 V100, \u0442\u044f\u043d\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 prefill, \u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0431\u0435\u0437 \u043e\u0431\u0432\u0430\u043b\u0430. \u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u2014 \u0442\u043e, \u043d\u0430 \u0447\u0451\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0436\u0438\u0432\u0451\u0442 \u043f\u0440\u043e\u0434.<\/p>\n<p><code><strong>qwen2.5:7b-instruct-q4_K_M<\/strong><\/code>\u00a0\u2014 102.8 tps avg, 113\/109\/97\/91 tps \u043f\u043e 4 \u0443\u0440\u043e\u0432\u043d\u044f\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0414\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u0445 \u0440\u043e\u0432\u043d\u043e \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e, \u0431\u0435\u0437 \u043e\u0431\u0440\u044b\u0432\u043e\u0432. \u041d\u0430\u0448 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435.<\/p>\n<pre><code>ollama run qwen2.5:7b-instruct-q4_K_Menv: OLLAMA_NUM_PARALLEL=1 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435:\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#qwen25\" rel=\"noopener noreferrer nofollow\">repo\/docs\/MODEL_<\/a><a href=\"http:\/\/CARDS.md\" rel=\"noopener noreferrer nofollow\">CARDS.md<\/a><a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#qwen25\" rel=\"noopener noreferrer nofollow\">#qwen25<\/a><\/p>\n<p><code><strong>glm4:9b<\/strong><\/code>\u00a0\u2014 104.9 tps avg, 108\/107\/103\/100 tps. \u0421\u0430\u043c\u044b\u0439 \u0440\u043e\u0432\u043d\u044b\u0439 \u043f\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0432 \u0433\u0440\u0443\u043f\u043f\u0435: \u043c\u0435\u0436\u0434\u0443 short \u0438 large \u0442\u0435\u0440\u044f\u0435\u0442 \u0432\u0441\u0435\u0433\u043e 8%. \u0415\u0441\u043b\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u2014 \u0431\u0435\u0440\u0438\u0442\u0435 \u0435\u0451, \u0430 \u043d\u0435 Llama.<\/p>\n<pre><code>ollama run glm4:9benv: OLLAMA_NUM_PARALLEL=1 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435:\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#glm4\" rel=\"noopener noreferrer nofollow\">repo\/docs\/MODEL_<\/a><a href=\"http:\/\/CARDS.md\" rel=\"noopener noreferrer nofollow\">CARDS.md<\/a><a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#glm4\" rel=\"noopener noreferrer nofollow\">#glm4<\/a><\/p>\n<p><code><strong>llama3.1:8b-instruct-q4_K_M<\/strong><\/code>\u00a0\u2014 82.9 tps avg, 98\/89\/76\/69 tps. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f Llama, \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2014 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u044b \u043f\u043e \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0435 \u043c\u0435\u0440\u044f\u0435\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0451.<\/p>\n<pre><code>ollama run llama3.1:8b-instruct-q4_K_Menv: OLLAMA_NUM_PARALLEL=1 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435:\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#llama31\" rel=\"noopener noreferrer nofollow\">repo\/docs\/MODEL_<\/a><a href=\"http:\/\/CARDS.md\" rel=\"noopener noreferrer nofollow\">CARDS.md<\/a><a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#llama31\" rel=\"noopener noreferrer nofollow\">#llama31<\/a><\/p>\n<p><code><strong>mistral:7b-instruct-v0.3-q4_K_M<\/strong><\/code>\u00a0\u2014 79.6 tps avg, 98\/87\/71\/62 tps. \u0427\u0443\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 Llama-3.1, \u0437\u0430\u0442\u043e \u043f\u0440\u043e\u0449\u0435 \u0432 \u043f\u0440\u043e\u043c\u043f\u0442\u0438\u043d\u0433\u0435 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u0435\u0435 \u043d\u0430 JSON-\u0432\u044b\u0432\u043e\u0434\u0435. \u041d\u0430 \u043d\u0435\u0451 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043b\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0433\u0434\u0435 Llama-3.1 \u043b\u043e\u0432\u0438\u043b\u0430 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438 \u0432 schema.<\/p>\n<pre><code>ollama run mistral:7b-instruct-v0.3-q4_K_Menv: OLLAMA_NUM_PARALLEL=1 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435:\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#mistral7b\" rel=\"noopener noreferrer nofollow\">repo\/docs\/MODEL_<\/a><a href=\"http:\/\/CARDS.md\" rel=\"noopener noreferrer nofollow\">CARDS.md<\/a><a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#mistral7b\" rel=\"noopener noreferrer nofollow\">#mistral7b<\/a><\/p>\n<p><code><strong>falcon3:7b<\/strong><\/code>\u00a0\u2014 94.7 tps avg, 107\/98\/88\/86 tps. \u0425\u043e\u0440\u043e\u0448\u0430\u044f Falcon-\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f: \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0434\u0435\u0440\u0436\u0438\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043b\u0443\u0447\u0448\u0435 Llama\/Mistral \u0437\u0430 \u0441\u0447\u0451\u0442 \u0431\u043e\u043b\u0435\u0435 \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u043e\u0433\u043e attention. \u0421\u044e\u0440\u043f\u0440\u0438\u0437 \u0431\u0435\u043d\u0447\u0430 \u0432 \u044d\u0442\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438.<\/p>\n<pre><code>ollama run falcon3:7benv: OLLAMA_NUM_PARALLEL=1 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435:\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#falcon3\" rel=\"noopener noreferrer nofollow\">repo\/docs\/MODEL_<\/a><a href=\"http:\/\/CARDS.md\" rel=\"noopener noreferrer nofollow\">CARDS.md<\/a><a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\/blob\/main\/docs\/MODEL_CARDS.md#falcon3\" rel=\"noopener noreferrer nofollow\">#falcon3<\/a><\/p>\n<h4>\u0411\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: 14B\u201370B \u043d\u0430 2\u00d7 V100<\/h4>\n<p>\u0417\u0434\u0435\u0441\u044c \u0443\u0436\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0436\u043a\u0430\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u043c\u0435\u043d. \u041d\u0430 \u043f\u043e\u0434\u0430\u0445 \u0441 NVLink \u0446\u0438\u0444\u0440\u044b \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u043e\u0434\u0440\u0435\u0435, \u0447\u0435\u043c \u043d\u0430 \u0447\u0438\u0441\u0442\u043e\u043c PCIe \u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u0438\u0437 \u0427\u0430\u0441\u0442\u0438 I.<\/p>\n<p><code><strong>gpt-oss:20b<\/strong><\/code>\u00a0\u2014 106.8 tps avg, 111\/108\/105\/103 tps. \u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0441\u044e\u0440\u043f\u0440\u0438\u0437 \u0432\u0441\u0435\u0433\u043e \u0431\u0435\u043d\u0447\u0430: 20B-\u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0434\u0451\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b 7B-\u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041c\u0430\u0433\u0438\u044f \u2014 MoE-\u0440\u043e\u0443\u0442\u0438\u043d\u0433, \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u0430\u043b\u043e, decode \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0414\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u043f\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u043d\u0443\u043b\u0435\u0432\u0430\u044f.<\/p>\n<pre><code>ollama run gpt-oss:20b<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code><strong>qwen2.5:14b-instruct-q4_K_M<\/strong><\/code>\u00a0\u2014 52.9 tps avg, 60\/56\/50\/46 tps. \u0420\u0430\u0431\u043e\u0447\u0430\u044f \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430: \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u0443\u043c\u043d\u0435\u0435 7B, \u043d\u043e \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u043d\u0430 decode. \u041a\u043e\u0433\u0434\u0430 7B \u043d\u0435 \u0432\u044b\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u2014 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433 \u0441\u044e\u0434\u0430, \u0430 \u043d\u0435 \u0441\u0440\u0430\u0437\u0443 \u0432 70B.<\/p>\n<pre><code>ollama run qwen2.5:14b-instruct-q4_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code><strong>gemma2:27b-instruct-q4_K_M<\/strong><\/code>\u00a0\u2014 32.8 tps avg, 35\/34\/31\/31 tps. \u0412\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043e\u0434\u043d\u0443 V100 32GB \u0432 Q4 \u0438 \u0438\u0434\u0451\u0442 \u043f\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u043f\u043e\u0447\u0442\u0438 \u0440\u043e\u0432\u043d\u043e. \u0415\u0441\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u2014 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c.<\/p>\n<pre><code>ollama run gemma2:27b-instruct-q4_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code><strong>mixtral:8x7b<\/strong><\/code>\u00a0\u2014 75.0 tps avg, 81\/78\/73\/69 tps. MoE \u043d\u0430 56B \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e, \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 ~13B \u2014 \u0437\u0430 \u0441\u0447\u0451\u0442 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u0434\u0435\u0440\u0436\u0438\u0442 70+ tps \u043d\u0430 decode. \u0414\u0432\u0443\u0445 V100 (64 \u0413\u0411 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e) \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0432\u043f\u0440\u0438\u0442\u044b\u043a.<\/p>\n<pre><code>ollama run mixtral:8x7b<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code><strong>llama3.3:70b-instruct-q4_K_M<\/strong><\/code>\u00a0\u2014 14.6 tps avg, 16\/15\/14\/14 tps. \u0422\u043e\u043f\u043e\u0432\u0430\u044f dense-70B \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u0436\u0435\u043b\u0435\u0437\u0435, \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0434\u0432\u0443\u043c \u043a\u0430\u0440\u0442\u0430\u043c \u0447\u0435\u0440\u0435\u0437 Ollama-\u0440\u043e\u0443\u0442\u0435\u0440. \u041d\u0430 NVLink-\u043f\u043e\u0434\u0435 \u0434\u0430\u0451\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0435 ~14 tps \u2014 \u0434\u043b\u044f async-\u0437\u0430\u0434\u0430\u0447 (\u0444\u043e\u043d\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0437\u0432\u043e\u043d\u043a\u0430) \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u00ab\u043f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441\u00bb \u2014 \u0431\u0443\u0434\u0435\u0442 \u0434\u0443\u0448\u043d\u043e.<\/p>\n<pre><code>ollama run llama3.3:70b-instruct-q4_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code><strong>qwen2.5:72b-instruct-q4_K_M<\/strong><\/code>\u00a0\u2014 13.7 tps avg, 15\/14\/13\/13 tps. \u041f\u0440\u044f\u043c\u043e\u0439 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442 Llama-3.3-70B \u043f\u043e \u0436\u0435\u043b\u0435\u0437\u0443. \u0427\u0443\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u043d\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0448\u0438\u0445 \u0447\u0435\u043a-\u043b\u0438\u0441\u0442\u0430\u0445 \u0432\u044b\u0434\u0430\u0451\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0448\u0435.<\/p>\n<pre><code>ollama run qwen2.5:72b-instruct-q4_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code><strong>mixtral:8x22b-instruct-v0.1-q3_K_M<\/strong><\/code>\u00a0\u2014 5.4 tps avg, 7\/6\/5\/4 tps. 176B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e, Q3_K_M, \u0432\u044b\u0436\u0438\u043c\u0430\u0435\u043c \u043f\u043e\u0434 \u043f\u043e\u0442\u043e\u043b\u043e\u043a VRAM 2\u00d7 V100. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f, \u043d\u043e decode \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u2014 \u044d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u044b\u0439 \u0432\u0435\u0440\u0445 \u0434\u043b\u044f MoE \u043d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435.<\/p>\n<pre><code>ollama run mixtral:8x22b-instruct-v0.1-q3_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code><strong>mistral-large:123b-instruct-2407-q3_K_M<\/strong><\/code>\u00a0\u2014 2.4 tps avg. \u0412\u0435\u0440\u0445\u043d\u044f\u044f \u043f\u043b\u0430\u043d\u043a\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e 2\u00d7 V100 32GB \u0432\u043e\u043e\u0431\u0449\u0435 \u0442\u044f\u043d\u0443\u0442 \u0432 Ollama. 4-\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (14K tok) \u0443\u0436\u0435 \u043d\u0435 \u0434\u043e\u0435\u0437\u0436\u0430\u0435\u0442 \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0438\u0440\u0430\u0435\u0442 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438. \u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e, \u043d\u043e \u00ab\u0430 \u0432\u043b\u0435\u0437\u0435\u0442 \u043b\u0438\u00bb \u2014 \u0434\u0430, \u0432\u043b\u0435\u0437\u0430\u0435\u0442.<\/p>\n<pre><code>ollama run mistral-large:123b-instruct-2407-q3_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0413\u0434\u0435 \u0443\u043f\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a: \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435<\/h4>\n<p>\u0421\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c\u0441\u044f: \u044d\u0442\u043e\u00a0<strong>\u043d\u0435 \u00ab\u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u043e\u0441\u044c\u00bb<\/strong>. \u042d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438\u0441\u044c, \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 prompt\u2019\u0430\u0445, \u043d\u043e \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0443\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a 22K\u00a0<code>num_ctx<\/code>\u00a0\u00d7 64 \u0413\u0411 VRAM. \u041d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435\u00a0<code>short<\/code>\u00a0(\u22642\u20133K \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0438\u00a0<code>small<\/code>\u00a0(~5K) \u2014 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0434\u0451\u0442; \u043d\u0430\u00a0<code>medium<\/code>\/<code>large<\/code>\u00a0\u2014 OOM \u043d\u0430 KV-cache \u0438\u043b\u0438 \u043e\u0442\u0432\u0435\u0442 \u043e\u0431\u0440\u0435\u0437\u0430\u0435\u0442\u0441\u044f.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043d\u0430\u0448\u0435\u043c \u0431\u0435\u043d\u0447\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0413\u0434\u0435 \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>mistral-large:123b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>short<\/code>\u00a0~3.0 tps,\u00a0<code>small<\/code>\u00a0~2.6 tps,\u00a0<code>medium<\/code>\u00a0~1.7 tps<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>large<\/code>\u00a0(14K tok) \u2014 OOM \u043d\u0430 KV-cache<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>gpt-oss:120b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>short<\/code>\/<code>small<\/code>\/<code>medium<\/code>\u00a0~74\u201376 tps avg (MoE 120B\/5B active, \u0447\u0435\u0440\u0435\u0437 Ollama GGUF Q4)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>large<\/code>\u00a0\u2014 \u043d\u0435 \u0434\u043e\u0435\u0437\u0436\u0430\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f: \u0431\u043e\u043b\u044c\u0448\u0438\u0435 dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 prompt\u2019\u0430\u0445 \u0443\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432 KV-cache. \u041d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0435\u0434\u0443\u0442.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0435\u0439 \u0438\u0434\u0443\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 Ollama\u00a0<strong>\u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u0434\u043d\u044f\u0442\u044c\u0441\u044f \u0432\u043e\u043e\u0431\u0449\u0435<\/strong>\u00a0(\u0441\u0442\u0430\u0442\u0443\u0441\u00a0<code>PREWARM_FAIL<\/code>\u00a0\u0438\u043b\u0438 \u0432\u0441\u0435 4 \u0443\u0440\u043e\u0432\u043d\u044f FAIL). \u042d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e Volta \u043a\u0430\u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u2014 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u043e\u0434\u0430\u0445 \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c, \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u043d\u0435 \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b Ollama-runtime \u0432 \u043b\u043e\u0433\u0435. \u041f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u0435\u0441\u0442\u044c \u0432\u00a0<code>docs\/MODEL_<\/code><a href=\"http:\/\/CARDS.md\" rel=\"noopener noreferrer nofollow\"><code>CARDS.md<\/code><\/a>\u00a0\u0440\u0435\u043f\u043e, \u0442\u0443\u0442 \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0438\u0442\u043e\u0433:\u00a0<code>command-r-plus:104b-q4_K_S<\/code>\u00a0(pod1),\u00a0<code>qwen:72b<\/code>\u00a0(pod5, \u043b\u0435\u0433\u0430\u0441\u0438 Qwen-1),\u00a0<code>phi:2.7b<\/code>\u00a0(pod5), \u0430 \u0442\u0430\u043a\u0436\u0435\u00a0<code>deepseek-r1:8b-q4_K_M<\/code>\u00a0\/\u00a0<code>:14b-q4_K_M<\/code>\u00a0\/\u00a0<code>:32b-q4_K_M<\/code>\u00a0\u043d\u0430 pod3. \u0412\u0441\u0435 \u0442\u0440\u0438 \u0442\u0435\u0433\u0430 DeepSeek-R1 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u043e\u0434\u0430\u0445 (<code>deepseek-r1:8b<\/code>\u00a0\u0431\u0435\u0437 \u044f\u0432\u043d\u043e\u0433\u043e \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u0430 \u0438 \u0442.\u043f.) \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c \u0448\u0442\u0430\u0442\u043d\u043e \u2014 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0431\u044b\u043b\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u044f pod3.<\/p>\n<h4>STT: Whisper-large \u043d\u0430 V100<\/h4>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e LLM-\u0431\u0435\u043d\u0447\u0430, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u043b\u0438 STT \u2014 \u043d\u0430\u0448\u0443 \u0431\u043e\u0435\u0432\u0443\u044e STT-\u043a\u0430\u0440\u0442\u0443 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u00a0<strong>Whisper-large-v3 <\/strong>\u0447\u0435\u0440\u0435\u0437\u00a0<code>faster-whisper<\/code>, FP16, single-stream. 4 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0445 \u0430\u0443\u0434\u0438\u043e-\u0441\u0435\u043c\u043f\u043b\u0430 \u0440\u0430\u0437\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b: ~30 \u0441\u0435\u043a, ~2 \u043c\u0438\u043d, ~5 \u043c\u0438\u043d, ~10 \u043c\u0438\u043d. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014\u00a0<strong>RTF (real-time factor)<\/strong>, \u0432\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0440\u0435\u0430\u043b-\u0442\u0430\u0439\u043c\u0430.<\/p>\n<p>\u041a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430:<\/p>\n<pre><code class=\"bash\">faster-whisper --model large-v3 --device cuda --compute-type float16 input.wav<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440 \u043f\u043e RTF (\u0447\u0438\u0441\u043b\u0430 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u044b, \u0442\u043e\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u2014 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0435 \u0440\u0435\u043f\u043e):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0414\u043b\u0438\u043d\u0430 \u0430\u0443\u0434\u0438\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">Wall, \u0441\u0435\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">RTF<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">~30 \u0441\u0435\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">~3<\/p>\n<\/td>\n<td>\n<p align=\"left\">~10\u00d7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">~2 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">~10<\/p>\n<\/td>\n<td>\n<p align=\"left\">~12\u00d7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">~5 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">~22<\/p>\n<\/td>\n<td>\n<p align=\"left\">~14\u00d7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">~10 \u043c\u0438\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">~45<\/p>\n<\/td>\n<td>\n<p align=\"left\">~13\u00d7<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<blockquote>\n<p><strong>TBD:<\/strong>\u00a0\u0442\u043e\u0447\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430. \u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440 \u2014 RTF 8\u201315\u00d7 \u043d\u0430 V100 FP16 \u0434\u043b\u044f single-stream.<\/p>\n<\/blockquote>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0430 \u0441\u00a0<strong>50 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 STT-\u043f\u043e\u0442\u043e\u043a\u043e\u0432<\/strong>\u00a0\u043e\u0434\u043d\u0430 V100 \u043d\u0435 \u0442\u044f\u043d\u0435\u0442 \u2014 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f WhisperX \u0441 batching\/VAD \u0438\u043b\u0438 \u0432\u0442\u043e\u0440\u0430\u044f \u043a\u0430\u0440\u0442\u0430. \u0414\u043b\u044f \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438 \u0438 1\u20135 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0439 \u043e\u0434\u043d\u0430 V100 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u0430\u043f\u0430\u0441\u043e\u043c. \u0423 \u043d\u0430\u0441 \u0432 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0435 STT \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443 (~5\u20136 \u0413\u0411 VRAM \u0432\u043a\u043b\u044e\u0447\u0430\u044f Pyannote), LLM-\u044d\u0432\u0430\u043b \u043d\u0430 7B FP16 \u2014 \u0432\u0442\u043e\u0440\u0443\u044e, \u0438 \u0432 \u0441\u0443\u043c\u043c\u0435 \u0434\u0432\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u0440\u043e\u0431\u043a\u0435.<\/p>\n<h4>Image-gen: 14 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0447\u0435\u0440\u0435\u0437 sd.cpp<\/h4>\n<p>14 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0447\u0435\u0440\u0435\u0437\u00a0<code>stable-diffusion.cpp<\/code>\u00a0\u0441 \u0444\u0438\u043a\u0441\u043e\u043c\u00a0<code>--type bf16<\/code>\u00a0.<\/p>\n<p>\u0421\u0432\u043e\u0434\u043a\u0430 \u043f\u043e wall-time \u043d\u0430 1024\u00d71024:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Wall sec<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SDXL-base-1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">26\u201327<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Z-Image-Turbo-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">FLUX.1-dev-Q5_K_S-GGUF<\/p>\n<\/td>\n<td>\n<p align=\"left\">138\u2013139<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>SDXL \u2014 \u0441\u0430\u043c\u044b\u0439 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u043d\u0430 V100 \u0431\u0435\u0437 \u0431\u0443\u0431\u043d\u043e\u0432. Z-Image-Turbo \u0447\u0435\u0440\u0435\u0437\u00a0<code>--type bf16<\/code>\u00a0workaround \u0432\u044b\u0434\u0430\u0451\u0442 1024\u00b2 \u0437\u0430 \u043c\u0438\u043d\u0443\u0442\u0443. FLUX.1-dev \u0432 Q5_K_S \u2014 2.3 \u043c\u0438\u043d\u0443\u0442\u044b \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u00a0<code>--vae-on-cpu --clip-on-cpu<\/code>, \u0438\u043d\u0430\u0447\u0435 \u043b\u043e\u0432\u0438\u0442\u0441\u044f NaN \u0432 VAE \u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0431\u0435\u043b\u044b\u0439 PNG ~3 \u041a\u0411 (BF16-FP16-mismatch \u043d\u0430 sm_70).<\/p>\n<p>\u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u043f\u043e \u0442\u0440\u0451\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c (1024\u00d71024, V100):<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0d4\/7d6\/f77\/0d47d6f77c7e60cf1a3a6307311343cd.jpeg\" alt=\"SDXL \u2014 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u043a\u043e\u043b\u043b-\u0446\u0435\u043d\u0442\u0440\u0430\" width=\"1024\" height=\"1024\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/0d4\/7d6\/f77\/0d47d6f77c7e60cf1a3a6307311343cd.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0d4\/7d6\/f77\/0d47d6f77c7e60cf1a3a6307311343cd.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>SDXL \u2014 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u043a\u043e\u043b\u043b-\u0446\u0435\u043d\u0442\u0440\u0430<\/figcaption><\/div>\n<\/figure>\n<p><em>SDXL-base-1.0, 26 \u0441\u0435\u043a &#8212; \u043d\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0430\u043a \u0441\u0435\u0431\u0435 \ud83d\ude42<\/em><\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78b\/af5\/751\/78baf575187a72a35992b481a0d9b38c.jpeg\" alt=\"SDXL \u2014 \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0430 \u0440\u0435\u0447\u0435\u0432\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438\" width=\"1024\" height=\"1024\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/78b\/af5\/751\/78baf575187a72a35992b481a0d9b38c.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78b\/af5\/751\/78baf575187a72a35992b481a0d9b38c.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>SDXL \u2014 \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0430 \u0440\u0435\u0447\u0435\u0432\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438<\/figcaption><\/div>\n<\/figure>\n<p><em>SDXL \u043d\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u2014 \u043e\u0442\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0447\u0438\u0449\u0435 FLUX \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u0432 \u043a\u0430\u0434\u0440\u0435<\/em><\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/301\/a9c\/84f\/301a9c84f749a7438449a5923238ba9e.jpeg\" alt=\"Z-Image \u2014 AI-\u0430\u0433\u0435\u043d\u0442 \u0441 \u0431\u0430\u0437\u043e\u0439\" width=\"1024\" height=\"1024\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/301\/a9c\/84f\/301a9c84f749a7438449a5923238ba9e.jpeg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/301\/a9c\/84f\/301a9c84f749a7438449a5923238ba9e.jpeg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Z-Image \u2014 AI-\u0430\u0433\u0435\u043d\u0442 \u0441 \u0431\u0430\u0437\u043e\u0439<\/figcaption><\/div>\n<\/figure>\n<p><em>Z-Image: \u043b\u0443\u0447\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430 \u043c\u0438\u043d\u0443\u0442\u0443, \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u043b\u043e\u0448\u0430\u0434\u043a\u0430 \u0434\u043b\u044f V100<\/em><\/p>\n<h4>Video-gen: 6 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Wall sec<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u0430\u0434\u0440\u044b<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Wan2.2-TI2V-5B-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">212\u2013214<\/p>\n<\/td>\n<td>\n<p align=\"left\">33<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">CogVideoX-5b<\/p>\n<\/td>\n<td>\n<p align=\"left\">535\u2013537<\/p>\n<\/td>\n<td>\n<p align=\"left\">49<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Wan2.2 5B \u0432 Q8 GGUF \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043e\u0434\u043d\u0443 V100 32 \u0413\u0411, ~3.5 \u043c\u0438\u043d\u0443\u0442\u044b \u043d\u0430 33 \u043a\u0430\u0434\u0440\u0430. CogVideoX-5b \u0432 FP16 \u2014 ~9 \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 49 \u043a\u0430\u0434\u0440\u043e\u0432. LTX-Video \/ Hunyuan \/ Wan 14B \u043d\u0430 \u0434\u0432\u0443\u0445 V100 \u0431\u0435\u0437 NVLink \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u2014 TP cross-card \u043d\u0430 diffusion \u0432 \u044d\u0442\u043e\u043c \u0441\u0442\u0435\u043a\u0435 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<h2>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 128 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h2>\n<details class=\"spoiler\">\n<summary>LLM \u2014 t\/s 108 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, Ollama Q4_K_M (\u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0443)<\/summary>\n<div class=\"spoiler__content\">\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>#<\/p>\n<\/th>\n<th>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p>B<\/p>\n<\/th>\n<th>\n<p>short tps<\/p>\n<\/th>\n<th>\n<p>small tps<\/p>\n<\/th>\n<th>\n<p>medium tps<\/p>\n<\/th>\n<th>\n<p>large tps<\/p>\n<\/th>\n<th>\n<p>avg tps<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>smollm2:135m<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">433.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">420.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">421.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">421.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>424.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3.2:1b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">352.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">322.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">274.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">249.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>299.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>smollm2:360m<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">305.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">297.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">296.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">297.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>299.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>glm-ocr<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">303.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">247.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">257.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">243.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>263.1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gemma3:1b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">203.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">172.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">207.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">204.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>196.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen3:0.6b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">204.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">195.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">177.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">184.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>190.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>smollm2:1.7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">183.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">172.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">172.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">171.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>175.0<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen3:1.7b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">163.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">182.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">163.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">156.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>166.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3.2:3b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">3.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">180.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">167.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">147.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">134.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>157.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen:1.8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">274.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">248.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>130.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen:1.8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">272.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">248.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>130.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">12<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gemma3:4b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">4.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">107.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">123.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">123.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">122.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>119.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>moondream<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">182.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>109.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">14<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gpt-oss:20b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">20.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">110.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">107.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">105.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">103.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>106.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">15<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>glm4:9b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">9.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">108.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">107.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">103.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">100.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>104.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">16<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>starcoder2:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">177.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">159.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">82.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>104.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">17<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen2.5-coder:7b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">108.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">98.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">92.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>103.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">18<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen2.5:7b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">109.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>102.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>dolphin3:8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">110.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">105.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">98.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>101.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">20<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>starcoder2:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">177.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">151.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>100.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">21<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>glm4:9b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">9.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">103.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">101.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">95.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>97.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">22<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>falcon3:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">106.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">98.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>94.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>nemotron-mini:4b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">4.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">153.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>94.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">24<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>nemotron-mini:4b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">4.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">152.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>94.1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>magicoder:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">102.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">82.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>92.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">26<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>codellama:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">102.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">82.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>92.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">27<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>olmo2:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>91.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">28<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>starling-lm:7b-beta<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">106.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">94.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>90.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">29<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">106.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">96.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">81.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>89.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">30<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>openchat:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">107.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">94.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>87.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">31<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-r1:8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">84.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>86.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">32<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>neural-chat:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">107.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">95.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>85.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">33<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>zephyr:7b-beta<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">106.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">94.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>85.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">34<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen3:4b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">4.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">92.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>84.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">35<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3.1:8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">100.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>84.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">36<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>dolphin3:8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">99.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>84.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">37<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3:8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">107.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">96.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>83.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">38<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3.1:8b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">98.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>82.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">39<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>mistral:7b-instruct-v0.3-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">98.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>79.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">40<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>mistral:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">96.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>79.0<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">41<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3.2-vision:11b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">11.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>77.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">42<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>nemotron-mini:4b-instruct-fp16<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">4.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>76.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">43<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>starcoder2:15b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">15.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">117.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>75.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">44<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>alibilge\/Huihui-GLM-4.6V-Flash-abliterated:q4_k_m<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>75.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">45<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>mixtral:8x7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">56.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">81.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>75.0<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">46<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gpt-oss:120b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">120<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>74.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">47<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>granite3-dense:8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.3<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>72.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">48<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>vicuna:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">114.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>72.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">49<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama2:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">113.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">57.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">57.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>72.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">50<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen3:8b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>69.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">51<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>solar:10.7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">10.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>67.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">52<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>falcon3:10b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">10.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>67.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">53<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gemma2:9b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">9.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>66.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">54<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>codegemma:7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">100.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">96.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>65.0<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">55<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>phi3:3.8b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">3.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">95.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">47.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">37.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>63.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">56<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>granite3.1-dense:8b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">47.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>62.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">57<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>phi3:3.8b-mini-128k-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">3.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">46.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">36.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>62.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">58<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gemma3:12b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">12.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>61.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">59<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>dolphin-mixtral:8x7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">56.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">56.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">50.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>61.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">60<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>nous-hermes2-mixtral<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">56.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">50.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>61.1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">61<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>mistral-nemo:12b-instruct-2407-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">12.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">62.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">54.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">49.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>58.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">62<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>glm-4.7-flash:latest<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">61.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">54.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">50.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>56.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">63<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>olmo2:13b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">13.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>55.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>codellama:13b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">13.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">49.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>54.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">65<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen:14b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">49.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">43.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>53.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">66<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen2.5:14b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">56.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">49.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">45.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>52.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">67<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen2.5-coder:14b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">49.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">45.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>52.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">68<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen3:14b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">57.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">50.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">46.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>52.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">69<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-r1:14b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">49.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">45.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>52.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">70<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>phi3:14b-medium-128k-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">54.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">45.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">40.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>49.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">71<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-coder-v2:16b-lite-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">16.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">56.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>48.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">72<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama2:13b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">13.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">37.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">47.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">43.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>48.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">73<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>phi4:14b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">57.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">51.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>44.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">74<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>vicuna:13b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">13.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">40.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">9.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>40.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">75<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>vicuna:13b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">13.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">40.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">9.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>39.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">76<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>mistral-small:24b-instruct-2501-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">24.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">39.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">36.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>37.9<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">77<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>codestral:22b-v0.1-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">22.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">41.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">38.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>35.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">78<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gemma3:27b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">27.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>32.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">79<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>gemma2:27b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">27.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">35.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>32.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">80<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen:32b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>30.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">81<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>command-r:35b-08-2024-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">35.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>30.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">82<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>yi:34b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">34.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>28.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">83<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>aya-expanse:32b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>28.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">84<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>aya-expanse:32b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>28.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">85<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwq:32b-preview-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">24.9<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>27.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">86<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen2.5:32b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">24.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>27.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">87<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen2.5-coder:32b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>27.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">88<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-r1:32b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">24.8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>27.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">89<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>exaone-deep:32b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">24.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>25.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">90<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>wizardcoder:33b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">33.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>24.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">91<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen3:32b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>24.8<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">92<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>codellama:70b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>17.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">93<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama2:70b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>16.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">94<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>hermes3:70b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>16.1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">95<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3.1:70b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>15.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">96<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>nemotron:70b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>15.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">97<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3:70b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.7<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>15.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">98<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>llama3.3:70b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>14.6<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">99<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-r1:70b-llama-distill-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.3<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>14.5<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">100<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen2.5:72b-instruct-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">72.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">12.5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>13.7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">101<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>mixtral:8x22b-instruct-v0.1-q3_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">176<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>5.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">102<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>mistral-large:123b-instruct-2407-q3_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">123<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>2.4<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">103<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>command-r-plus:104b-q4_K_S<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">104<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u2014<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">104<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-r1:14b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">14.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u2014<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">105<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-r1:32b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">32.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u2014<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">106<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>deepseek-r1:8b-q4_K_M<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">8.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u2014<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">107<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>phi:2.7b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">2.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u2014<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">108<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>qwen:72b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">72.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u2014<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Image-gen (sd.cpp, FP16\/BF16-\u0444\u0438\u043a\u0441 \u0447\u0435\u0440\u0435\u0437\u00a0&#8212;type bf16)<\/summary>\n<div class=\"spoiler__content\">\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>#<\/p>\n<\/th>\n<th>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p>\u041f\u0440\u043e\u043c\u043f\u0442<\/p>\n<\/th>\n<th>\n<p>Wall sec<\/p>\n<\/th>\n<th>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">Z-Image-Turbo-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">ai_agent_database<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">Z-Image-Turbo-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">office_winter<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">Z-Image-Turbo-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">neon_city<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">Z-Image-Turbo-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">call_center_operator<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">Z-Image-Turbo-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">speech_analytics_diagram<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<td>\n<p align=\"left\">FLUX.1-dev-Q5_K_S-GGUF<\/p>\n<\/td>\n<td>\n<p align=\"left\">call_center_operator<\/p>\n<\/td>\n<td>\n<p align=\"left\">139<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">FLUX.1-dev-Q5_K_S-GGUF<\/p>\n<\/td>\n<td>\n<p align=\"left\">speech_analytics_diagram<\/p>\n<\/td>\n<td>\n<p align=\"left\">138<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8<\/p>\n<\/td>\n<td>\n<p align=\"left\">FLUX.1-dev-Q5_K_S-GGUF<\/p>\n<\/td>\n<td>\n<p align=\"left\">ai_agent_database<\/p>\n<\/td>\n<td>\n<p align=\"left\">138<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">FLUX.1-dev-Q5_K_S-GGUF<\/p>\n<\/td>\n<td>\n<p align=\"left\">office_winter<\/p>\n<\/td>\n<td>\n<p align=\"left\">139<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<td>\n<p align=\"left\">SDXL-base-1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">call_center<\/p>\n<\/td>\n<td>\n<p align=\"left\">26<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\">SDXL-base-1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">speech_diagram<\/p>\n<\/td>\n<td>\n<p align=\"left\">27<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">12<\/p>\n<\/td>\n<td>\n<p align=\"left\">SDXL-base-1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">ai_agent<\/p>\n<\/td>\n<td>\n<p align=\"left\">26<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13<\/p>\n<\/td>\n<td>\n<p align=\"left\">SDXL-base-1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">office_winter<\/p>\n<\/td>\n<td>\n<p align=\"left\">26<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">14<\/p>\n<\/td>\n<td>\n<p align=\"left\">SDXL-base-1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">neon_city<\/p>\n<\/td>\n<td>\n<p align=\"left\">26<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024\u00d71024<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Video-gen<\/summary>\n<div class=\"spoiler__content\">\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>#<\/p>\n<\/th>\n<th>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p>\u041f\u0440\u043e\u043c\u043f\u0442<\/p>\n<\/th>\n<th>\n<p>Wall sec<\/p>\n<\/th>\n<th>\n<p>\u041a\u0430\u0434\u0440\u044b<\/p>\n<\/th>\n<th>\n<p>\u0420\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">Wan2.2-TI2V-5B-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">office_winter<\/p>\n<\/td>\n<td>\n<p align=\"left\">214<\/p>\n<\/td>\n<td>\n<p align=\"left\">33<\/p>\n<\/td>\n<td>\n<p align=\"left\">480\u00d7832<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">Wan2.2-TI2V-5B-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">call_center<\/p>\n<\/td>\n<td>\n<p align=\"left\">213<\/p>\n<\/td>\n<td>\n<p align=\"left\">33<\/p>\n<\/td>\n<td>\n<p align=\"left\">480\u00d7832<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">Wan2.2-TI2V-5B-Q8<\/p>\n<\/td>\n<td>\n<p align=\"left\">ai_agent<\/p>\n<\/td>\n<td>\n<p align=\"left\">212<\/p>\n<\/td>\n<td>\n<p align=\"left\">33<\/p>\n<\/td>\n<td>\n<p align=\"left\">480\u00d7832<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">CogVideoX-5b<\/p>\n<\/td>\n<td>\n<p align=\"left\">office_winter<\/p>\n<\/td>\n<td>\n<p align=\"left\">535<\/p>\n<\/td>\n<td>\n<p align=\"left\">49<\/p>\n<\/td>\n<td>\n<p align=\"left\">720\u00d7480<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">CogVideoX-5b<\/p>\n<\/td>\n<td>\n<p align=\"left\">ai_agent<\/p>\n<\/td>\n<td>\n<p align=\"left\">537<\/p>\n<\/td>\n<td>\n<p align=\"left\">49<\/p>\n<\/td>\n<td>\n<p align=\"left\">720\u00d7480<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<td>\n<p align=\"left\">CogVideoX-5b<\/p>\n<\/td>\n<td>\n<p align=\"left\">call_center<\/p>\n<\/td>\n<td>\n<p align=\"left\">537<\/p>\n<\/td>\n<td>\n<p align=\"left\">49<\/p>\n<\/td>\n<td>\n<p align=\"left\">720\u00d7480<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u043b\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 \u2014\u00a0<code>docs\/MODEL_<\/code><a href=\"http:\/\/CARDS.md\" rel=\"noopener noreferrer nofollow\"><code>CARDS.md<\/code><\/a>\u00a0\u0432 \u0440\u0435\u043f\u043e. \u0422\u0430\u043c \u0436\u0435 \u0441\u044b\u0440\u044b\u0435 JSON, \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0431\u0435\u043d\u0447\u0430 \u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0430\u0448\u0431\u043e\u0440\u0434.<\/p>\n<hr\/>\n<h3>\u041a\u043e\u0433\u0434\u0430 NVLink \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435\u043d \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434<\/h3>\n<p>\u041f\u0440\u044f\u043c\u043e\u0433\u043e \u00ab\u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 NVLink vs PCIe \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u00bb \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442: \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 vast \u043d\u0435 \u0434\u0430\u0451\u0442 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u043f\u043e \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438, \u0432 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438 \u0438 NVLink-, \u0438 PCIe-\u043f\u043e\u0434\u044b \u0432\u043f\u0435\u0440\u0435\u043c\u0435\u0448\u043a\u0443 (4 NVLink \u0438\u0437 5 \u0432 \u043d\u0430\u0448\u0435\u043c \u043d\u0430\u0431\u043e\u0440\u0435). \u0422\u043e\u0447\u043d\u043e\u0435 A\/B \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u2014 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u0442\u0430\u043f, \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u041d\u043e \u0438\u0437 128 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0432\u044b\u0432\u043e\u0434\u044b \u043f\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u00ab\u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u043e\u00bb \u2014 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443 (\u0434\u043e 30B AWQ, \u0434\u043e 14B \u0432 FP16), NVLink \u0435\u0439 \u043d\u0435 \u0434\u0430\u0451\u0442 \u043d\u0438\u0447\u0435\u0433\u043e: \u043c\u0435\u0436GPU-\u043e\u0431\u043c\u0435\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442, \u043e\u0431\u0435 \u043a\u0430\u0440\u0442\u044b \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b. <\/p>\n<p>\u0413\u0434\u0435 NVLink \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044c \u2014 \u044d\u0442\u043e TP=2 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. Llama-3.3-70B AWQ \u0447\u0435\u0440\u0435\u0437 TP=2 \u043d\u0430 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u0435 \u0441 PCIe x8 \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u0445 \u0434\u0430\u0451\u0442 \u043e\u043a\u043e\u043b\u043e 9 tps decode; \u043d\u0430 NVLink-\u043f\u043e\u0434\u0435 \u0438\u0437 <a href=\"http:\/\/vast.ai\" rel=\"noopener noreferrer nofollow\">vast.ai<\/a> \u0442\u0430 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0441\u0445\u043e\u0436\u0435\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043a ~25 tps. \u0422\u043e\u0447\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b \u2014 \u0432 \u043f\u043e\u043b\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432\u044b\u0448\u0435; \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u0430\u044f.<\/p>\n<p>\u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u2264 VRAM \u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u2014 PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c \u0438 \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430 \u0437\u0430 NVLink \u043d\u0435 \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u0430. \u0415\u0441\u043b\u0438 70B+ \u0438\u043b\u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0435 TP=2 \u2014 \u0441\u0440\u0430\u0437\u0443 \u0431\u0435\u0440\u0438\u0442\u0435 SXM2 + NVLink-backplane.<\/p>\n<hr\/>\n<h3>Failed \/ Skip: \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f Volta<\/h3>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e\u00a0<strong>\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 V100 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e<\/strong>, \u043f\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435. \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 FAIL&#8217;\u044b \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0438\u0437 \u043c\u0430\u0441\u0441\u043e\u0432\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u0430 \u2014 \u0432\u044b\u0448\u0435, \u0432 \u043f\u043e\u0434\u0441\u0435\u043a\u0446\u0438\u0438 \u00ab\u0413\u0434\u0435 \u0443\u043f\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a\u00bb.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u0432\u0430\u043d\u0442 \/ \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 V100<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>FP8<\/strong>\u00a0(Llama-3.1-8B-FP8 \/ Neural Magic \/ RedHatAI)<\/p>\n<\/td>\n<td>\n<p align=\"left\">FP8 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 Hopper (cc 9.0+). \u041d\u0430 Volta cc 7.0 \u043d\u0435\u0442 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438.<\/p>\n<\/td>\n<td>\n<p align=\"left\">Llama-3.1-8B fp16 \u0438\u043b\u0438 AWQ INT4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>MXFP4<\/strong>\u00a0(gpt-oss-20b \/ gpt-oss-120b \u0432 \u043d\u0430\u0442\u0438\u0432\u043d\u043e\u043c MXFP4)<\/p>\n<\/td>\n<td>\n<p align=\"left\">MXFP4 \u2014 \u0444\u043e\u0440\u043c\u0430\u0442 Blackwell-\u0441\u0435\u0440\u0438\u0438 (cc 12.0+). vLLM \u0441 \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u043c \u043d\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0435\u0442.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0427\u0435\u0440\u0435\u0437 Ollama GGUF Q4_K_M \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0434\u0443\u0442:\u00a0<code>gpt-oss:20b<\/code>\u00a0\u2014 106.8 tps,\u00a0<code>gpt-oss:120b<\/code>\u00a0\u2014 74.7 tps (\u0441\u043c. \u0432\u044b\u0448\u0435)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>NVFP4<\/strong>\u00a0(Nemotron-NVFP4)<\/p>\n<\/td>\n<td>\n<p align=\"left\">NVFP4 \u2014 \u0444\u043e\u0440\u043c\u0430\u0442 Blackwell.<\/p>\n<\/td>\n<td>\n<p align=\"left\">Nemotron \u0432 bf16 \u2014 \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>FlashAttention 3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e\u0434 Ampere+.<\/p>\n<\/td>\n<td>\n<p align=\"left\">FA2 +\u00a0<code>--enforce-eager<\/code>\u00a0\u0432 vLLM<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>BF16-\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 inference \u0432 diffusers<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Volta \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 hardware-BF16, \u0438\u0434\u0451\u0442 CPU emulation, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 NaN \u0432 VAE<\/p>\n<\/td>\n<td>\n<p align=\"left\">FP16 +\u00a0<a href=\"http:\/\/pipe.vae.to\" rel=\"noopener noreferrer nofollow\"><code>pipe.vae.to<\/code><\/a><code>(torch.float32)<\/code>\u00a0\u0438\u043b\u0438 sd.cpp\u00a0<code>--type bf16<\/code><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434: \u0435\u0441\u043b\u0438 \u0432 \u0441\u0442\u0435\u043a\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u043d \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 FP8\/FP4\/MXFP4 \u2014 V100 \u043d\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442, \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c A100 (FP8 \u2014 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e) \u0438\u043b\u0438 H100 (FP8 \u2014 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e). \u0415\u0441\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0436\u0438\u0442\u044c \u0441 GGUF Q4 \u0447\u0435\u0440\u0435\u0437 Ollama \u2014 V100 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0435\u0441\u044c \u0437\u043e\u043e\u043f\u0430\u0440\u043a \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043e 120B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<hr\/>\n<h3>\u0427\u0442\u043e \u0431\u044b \u043c\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438, \u0435\u0441\u043b\u0438 \u0431\u044b \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438 \u0441\u0435\u0439\u0447\u0430\u0441<\/h3>\n<p>\u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0441\u0442\u043d\u044b\u0445 \u00ab\u0431\u044b\u00bb \u043f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u043f\u043e\u043b\u0443\u0433\u043e\u0434\u0430 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438.<\/p>\n<h4>\u21161 \u2014 \u0411\u0440\u0430\u043b\u0438 \u0431\u044b 16 \u0413\u0411-\u0432\u0435\u0440\u0441\u0438\u044e V100, \u043d\u0435 32 \u0413\u0411<\/h4>\n<p>\u041f\u043e\u0434 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d (STT-\u043a\u0430\u0440\u0442\u0430 + 7B-LLM-\u043a\u0430\u0440\u0442\u0430)\u00a0<strong>32 \u0413\u0411 \u2014 \u0447\u0435\u0440\u0435\u0441\u0447\u0443\u0440 \u043b\u0438\u0447\u043d\u043e \u043d\u0430\u043c<\/strong>:<\/p>\n<ul>\n<li>\n<p>Qwen2.5-7B fp16 \u2248 14 \u0413\u0411 + ~4 \u0413\u0411 \u043f\u043e\u0434 KV-cache. \u041d\u0430 7B \u0441\u0442\u043e\u043b\u044c\u043a\u043e KV \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>Whisper-large + Pyannote \u2248 4\u20136 \u0413\u0411 \u2014 ~26 \u0413\u0411 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>16 \u0413\u0411-\u0432\u0435\u0440\u0441\u0438\u0438 V100 SXM2 \u043d\u0430 \u0410\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e ~30\u201335\u043a \u20bd \u043f\u0440\u043e\u0442\u0438\u0432 ~58\u043a \u20bd \u0437\u0430 32 \u0413\u0411. \u0421\u0431\u043e\u0440\u043a\u0430 \u0432\u044b\u0448\u043b\u0430 \u0431\u044b\u00a0<strong>~150-170\u043a \u20bd \u0432\u043c\u0435\u0441\u0442\u043e 220\u043a \u20bd<\/strong>.<\/p>\n<p>32 \u0413\u0411 \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u044b \u0432 \u0442\u0440\u0451\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445: \u0435\u0441\u043b\u0438 \u0433\u043e\u043d\u044f\u0435\u0442\u0435 14B \u0432 fp16 (\u0432 16 \u0413\u0411 \u043d\u0435 \u043b\u0435\u0437\u0435\u0442), \u0435\u0441\u043b\u0438 \u0433\u043e\u043d\u044f\u0435\u0442\u0435 70B AWQ TP=2 (~19 \u0413\u0411 \u043d\u0430 \u043a\u0430\u0440\u0442\u0443 + KV-cache), \u0438\u043b\u0438 \u0435\u0441\u043b\u0438 \u0434\u0435\u043b\u0430\u0435\u0442\u0435 serving \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c concurrency, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442\u0441\u044f KV-cache. \u041f\u043e\u0434 \u043d\u0430\u0448 \u043a\u0435\u0439\u0441 \u043c\u044b \u0432\u0437\u044f\u043b\u0438 32 \u0413\u0411 \u00ab\u043d\u0430 \u0432\u044b\u0440\u043e\u0441\u0442\u00bb \u2014 \u043f\u043e\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u0442 \u043d\u0435 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u043b\u0441\u044f.<\/p>\n<h4>\u21162 \u2014 \u0421\u0432\u043e\u0435\u043c\u0443 \u0436\u0435 \u0441\u043e\u0432\u0435\u0442\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438 \u0431\u044b \u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0433\u043e\u043d\u044f\u043b\u0438 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435<\/h4>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0441\u043e\u0432\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0441\u0430\u043c\u0438 \u0440\u0430\u0437\u0434\u0430\u0451\u043c \u0432 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0441\u0431\u043e\u0440\u043a\u0430\u0445: \u00ab\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0430\u0440\u0435\u043d\u0434\u0443\u0439\u0442\u0435 \u0447\u0430\u0441\u043e\u0432\u043e\u0439 pod, \u043f\u043e\u0433\u043e\u043d\u044f\u0439\u0442\u0435 \u0441\u0432\u043e\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0434, \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043a\u0443\u043f\u0430\u0439\u0442\u0435 \u0436\u0435\u043b\u0435\u0437\u043e\u00bb. \u0421\u0430\u043c\u0438 \u0438 \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438 \u2014 \u043b\u043e\u043f\u043d\u0443\u043b \u0447\u0438\u043f \u043d\u0430 3090, \u043d\u0443\u0436\u043d\u0430 \u0431\u044b\u043b\u0430 \u0441\u0440\u043e\u0447\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430, \u043f\u0435\u0440\u0435\u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0432 \u043e\u0431\u043b\u0430\u043a\u043e \u0431\u044b\u043b\u043e \u043d\u0435\u043a\u043e\u0433\u0434\u0430.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u0432\u0437\u044f\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u043a\u0430\u0440\u0442\u044b. \u0415\u0441\u043b\u0438 \u0431\u044b \u0437\u0430 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0433\u043e\u0434\u043d\u0430\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 \u2014 \u043f\u0440\u043e\u043b\u0435\u0442\u0435\u043b\u0438 \u0431\u044b. \u0421\u043e\u0432\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043c: \u0435\u0441\u043b\u0438 \u043d\u0435 \u0433\u043e\u0440\u0438\u0442 \u2014 \u043e\u0431\u043b\u0430\u043a\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0447\u0442\u043e\u0431\u044b \u043e\u0448\u0438\u0431\u0438\u0442\u044c\u0441\u044f. \u0423 \u043d\u0430\u0441 \u0433\u043e\u0440\u0435\u043b\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u043b\u0430\u0436\u0430\u043b\u0438\u0441\u044c \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443 \u0436\u0435 \u0447\u0435\u043a-\u043b\u0438\u0441\u0442\u0443.<\/p>\n<blockquote>\n<p><strong>\u0413\u0434\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u0430\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c V100.<\/strong>\u00a0\u041d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438 V100 \u0436\u0438\u0432\u044b\u0435 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043d\u0430\u00a0<a href=\"http:\/\/vast.ai\" rel=\"noopener noreferrer nofollow\"><strong>vast.ai<\/strong><\/a>\u00a0\u2014 \u0442\u0443\u0434\u0430 \u0438 \u0445\u043e\u0434\u0438\u043b\u0438 \u0437\u0430 \u043f\u043e\u0434\u0430\u043c\u0438 \u043f\u043e\u0434 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u0431\u0435\u043d\u0447. \u041d\u0430\u00a0<strong>RunPod<\/strong>\u00a0V100 \u0443\u0436\u0435 \u0441\u043d\u044f\u0442\u044b \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438, \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u043f\u043b\u0435\u0439\u0441\u0435 \u0438\u0445 \u043d\u0435\u0442. <\/p>\n<\/blockquote>\n<h4>\u21163 \u2014 \u0421\u0440\u0430\u0437\u0443 \u043f\u043e\u0448\u043b\u0438 \u0431\u044b \u0432 SXM2 + NVLink<\/h4>\n<p>\u0415\u0441\u043b\u0438 \u0431\u044b \u0437\u043d\u0430\u043b\u0438 \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0433\u043d\u0430\u0442\u044c \u0431\u0435\u043d\u0447\u0438 \u043f\u043e\u0434 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044e, \u2014 \u0432\u0437\u044f\u043b\u0438 \u0431\u044b \u0441\u0440\u0430\u0437\u0443 \u041f\u0443\u0442\u044c \u0411 (SXM2 + NVLink). PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u2014 \u044d\u0442\u043e \u043f\u0440\u043e \u00ab\u0443\u0434\u043e\u0431\u043d\u043e, \u0432\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u00bb, \u0430 \u043d\u0435 \u043f\u0440\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0414\u043b\u044f \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u0435\u0442, \u0434\u043b\u044f TP=2 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f.<\/p>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043f\u043e\u0434 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u0432\u043e\u043d\u043a\u043e\u0432 \u043d\u0430\u043c \u0438 \u0431\u0435\u0437 NVLink \u0445\u0432\u0430\u0442\u0430\u0435\u0442. \u0422\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u00ab\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u00bb \u043d\u0435 \u0440\u0430\u0432\u043d\u043e \u00ab\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u0443\u00bb.<\/p>\n<hr\/>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u2014 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0418\u0418-\u0441\u0435\u0440\u0432\u0435\u0440 \u0437\u0430\u00a0<strong>~200 000 \u20bd<\/strong>\u00a0\u0441 64 \u0413\u0411 VRAM \u043d\u0430 CUDA-\u0441\u0442\u0435\u043a\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0448\u0442\u0430\u0442\u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f \u043d\u0430\u0448 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d (Whisper+Pyannote \u0434\u043b\u044f STT \u0438 Qwen2.5-7B fp16 \u0434\u043b\u044f LLM-\u043e\u0446\u0435\u043d\u043a\u0438, \u043e\u0431\u0435 \u043d\u043e\u0434\u044b \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u0440\u043e\u0431\u043a\u0435). \u0417\u0430\u043f\u0430\u0441 VRAM \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 Qwen2.5-32B AWQ \u0437\u0430\u0445\u043e\u0434\u0438\u0442 \u0432 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443, Llama-3.3-70B AWQ \u0437\u0430\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 TP=2 (\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0438\u0437-\u0437\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f NVLink, \u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f). \u0411\u043e\u043d\u0443\u0441 \u2014 \u0432\u044b\u0441\u0442\u0440\u0430\u0434\u0430\u043d\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u0442\u0435\u043a\u0430 \u043f\u043e\u0434 Volta cc 7.0: \u0434\u0440\u0430\u0439\u0432\u0435\u0440, CUDA, \u043a\u0430\u043a\u0443\u044e \u0432\u0435\u0442\u043a\u0443 vLLM \u0431\u0440\u0430\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 env-\u0444\u043b\u0430\u0433\u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b, \u0433\u0434\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Ollama, \u0433\u0434\u0435 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 vLLM, \u0447\u0442\u043e \u043b\u0435\u0437\u0435\u0442 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u0447\u0442\u043e \u043d\u0435 \u043b\u0435\u0437\u0435\u0442. \u041f\u043b\u044e\u0441\u00a0<strong>128 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435<\/strong>\u00a0\u2014 108 LLM, 14 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, 6 \u2014 \u0432\u0438\u0434\u0435\u043e \u0438 STT-\u0431\u043b\u043e\u043a Whisper-large-v3. \u0412\u0441\u0451 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043d\u0430 \u0433\u0438\u0442\u0435.<\/p>\n<p>\u041a\u043e\u043c\u0443 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u0442\u0430\u043a\u0430\u044f \u0441\u0431\u043e\u0440\u043a\u0430:<\/p>\n<ol>\n<li>\n<p>\u042d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u0430\u043c \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c \u0434\u043e 50 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u2014 \u043d\u043e\u0440\u043c.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0441 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043d\u0430 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442\u0430\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0448 STT + LLM, \u0438\u043b\u0438 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 LLM, \u0438\u043b\u0438 dev + prod) \u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044e \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0435\u0440\u0435\u0434 \u0430\u0440\u0435\u043d\u0434\u043e\u0439 \u043e\u0431\u043b\u0430\u043a\u0430 \u2014 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u043e\u043c\u0443\u00a0<strong>\u043d\u0435<\/strong>\u00a0\u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442:<\/p>\n<ol>\n<li>\n<p>\u041a\u0440\u0443\u043f\u043d\u044b\u0439 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d \u0441 \u0432\u044b\u0441\u043e\u043a\u0438\u043c SLA. V100 \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441. \u0425\u043e\u0442\u0438\u0442\u0435 24\/7 \u0431\u0435\u0437 \u043e\u0433\u043b\u044f\u0434\u043a\u0438 \u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043a\u0430\u0440\u0442\u044b \u2014 \u0431\u0435\u0440\u0438\u0442\u0435 \u0441\u0432\u0435\u0436\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u0434\u0430\u0447\u0438 \u0441 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e FP8\/FP4 \u2014 \u043d\u0435 \u043d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u0434\u0430\u0447\u0438 \u0441 \u0442\u044f\u0436\u0451\u043b\u044b\u043c TP (70B+ \u0432 fp16) \u0431\u0435\u0437 NVLink \u2014 \u0443\u043f\u0440\u0451\u0442\u0435\u0441\u044c \u0432 PCIe.<\/p>\n<\/li>\n<\/ol>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u043e\u0441\u044b\u043b \u043f\u0440\u043e\u0441\u0442\u043e\u0439:\u00a0<strong>\u043b\u0438\u0447\u043d\u044b\u0439 \u0418\u0418-\u0441\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 64 \u0413\u0411 VRAM \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0437\u0430 200\u043a \u20bd<\/strong>. \u042d\u0442\u043e \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0442\u043e\u0438\u0442 \u043e\u0434\u043d\u0430 4090. \u0418 \u043d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u043a\u0440\u0443\u0442\u044f\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043f\u0440\u043e\u0434\u0435. \u0421\u043a\u0440\u0438\u043f\u0442\u044b \u0438 \u0441\u044b\u0440\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u2014 \u0432 \u043d\u0430 \u0433\u0438\u0442\u0435 \u043d\u0438\u0436\u0435.<\/p>\n<hr\/>\n<h3>\u0421\u0441\u044b\u043b\u043a\u0438<\/h3>\n<ul>\n<li>\n<p><strong>\u0420\u0435\u043f\u043e \u0441\u043e \u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438 \u0438 \u0431\u0435\u043d\u0447\u0430\u043c\u0438<\/strong>\u00a0\u2014\u00a0<a href=\"https:\/\/github.com\/pocketcoder-ch\/v100-benchmarks-2026\" rel=\"noopener noreferrer nofollow\">github.com\/pocketcoder-ch\/v100-benchmarks-2026<\/a><\/p>\n<\/li>\n<li>\n<p><strong>Telegram-\u043a\u0430\u043d\u0430\u043b<\/strong>\u00a0\u2014\u00a0<a href=\"https:\/\/t.me\/notes_from_cto\" rel=\"noopener noreferrer nofollow\">https:\/\/t.me\/notes_from_cto<\/a>. \u0420\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u0440\u043e \u0418\u0418, \u0436\u0435\u043b\u0435\u0437\u043e \u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u0438 \u0438\u0437 \u043c\u0438\u0440\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430 \ud83d\ude42<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u0441\u0431\u043e\u0440\u043a\u0435, \u0431\u0435\u043d\u0447\u0430\u043c \u0438\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u0441\u0432\u043e\u0439 \u043e\u043f\u044b\u0442 \u2014 \u043f\u0438\u0448\u0438\u0442\u0435 \u043d\u0430\u00a0<a href=\"mailto:cdv.inbox@gmail.com\" rel=\"noopener noreferrer nofollow\"><strong>cdv.inbox@gmail.com<\/strong><\/a>, \u0427\u0430\u0449\u0438\u043d \u0414\u043c\u0438\u0442\u0440\u0438\u0439. \u0411\u0443\u0434\u0443 \u0440\u0430\u0434 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1041610\/\">https:\/\/habr.com\/ru\/articles\/1041610\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041e \u0447\u0451\u043c \u044d\u0442\u043e \u0438 \u0437\u0430\u0447\u0435\u043c\u041f\u0440\u0438\u044f\u0442\u043d\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c \u0437\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0434\u0435\u0439, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0418\u0418, \u0440\u0430\u0441\u0442\u0435\u0442 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0434\u043d\u0435\u043c, \u043d\u043e \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u044f \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e \u043c\u043d\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u0441\u043b\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e\u0435 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0434 \u0441\u0432\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 LLM. \u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0443\u043c\u0430\u0441\u0448\u0435\u0434\u0448\u0438\u0435 \u0441\u0443\u043c\u043c\u044b \u043d\u0430 \u0441\u0431\u043e\u0440\u043a\u0438 \u043f\u043e\u0434 \u0418\u0418, \u0445\u043e\u0442\u044f \u0432\u0441\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u0440\u043e\u0449\u0435, \u0438 \u0441\u0432\u043e\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438. \u0422\u0430\u043a \u0438 \u0440\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0438\u0434\u0435\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0431\u0437\u043e\u0440 \u043d\u0430 \u0441\u0430\u043c\u0443\u044e \u0431\u044e\u0434\u0436\u0435\u0442\u043d\u0443\u044e \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0443\u044e \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 V100 \u043d\u0430 16\/32 \u0413\u0411, \u043f\u0440\u0438\u043b\u043e\u0436\u0438\u0432 100+ \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u0437\u0430 \u043c\u0430\u043b\u044b\u0435 \u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0441\u0442\u0438 \u0446\u0435\u043b\u0443\u044e \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044e \u0434\u043e\u043c\u0430.\u00a0\u0421\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c\u0441\u044f: \u00ab\u0431\u044e\u0434\u0436\u0435\u0442\u043d\u044b\u0439\u00bb \u2014 \u044d\u0442\u043e \u043f\u0440\u043e \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0446\u0435\u043d\u0430\/\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0430 \u043d\u0435 \u043f\u0440\u043e \u00ab\u043a\u043e\u043f\u0435\u0439\u043a\u0438\u00bb. 200\u043a \u0437\u0430 \u0434\u0432\u0443\u0445\u043a\u0430\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u0442\u0435\u043d\u0434 \u043f\u043e \u0431\u044b\u0442\u043e\u0432\u044b\u043c \u043c\u0435\u0440\u043a\u0430\u043c \u2014 \u043d\u0435 \u0434\u0451\u0448\u0435\u0432\u043e. \u041d\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u043a\u0440\u0443\u0442\u044f\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e 70B AWQ \u0447\u0435\u0440\u0435\u0437 TP=2, \u0430 \u0432 \u044d\u0442\u043e\u043c \u0446\u0435\u043d\u043e\u0432\u043e\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0433\u043e \u043f\u043e VRAM \u043c\u044b \u043d\u0430 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u0435 \u043d\u0435 \u043d\u0430\u0448\u043b\u0438. 2\u00d7\u00a0Tesla V100 32GB\u00a0\u0434\u0430\u044e\u0442 64 \u0413\u0411 VRAM \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u2014 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0438 RTX 5080 16GB, \u0438 \u0434\u0435\u0448\u0435\u0432\u043b\u0435.\u0426\u0435\u043b\u0435\u0432\u0430\u044f \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044f \u2014 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u044b \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0434\u043e 50 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u044c LLM \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043f\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439 \u0446\u0435\u043d\u0435. \u0414\u043b\u044f \u043a\u0440\u0443\u043f\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d\u0430 V100 \u2014 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441, \u0438 \u0432 \u0432\u044b\u0432\u043e\u0434\u0430\u0445 \u0447\u0435\u0441\u0442\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0432\u044b\u043b\u0435\u0437\u0430\u0442\u044c \u0435\u0433\u043e \u0431\u043e\u043b\u044f\u0447\u043a\u0438.\u0426\u0435\u043b\u044c \u2014 \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0442\u0435\u043c\u0443 V100 \u043e\u0434\u043d\u0438\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u041f\u043e \u043d\u0430\u0448\u0435\u043c\u0443 \u043e\u043f\u044b\u0442\u0443 \u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u043f\u043e\u043b\u0435 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u043e\u0440\u0430 \u043d\u0435\u0442: \u0433\u0434\u0435-\u0442\u043e \u0446\u0435\u043d\u044b \u0438 \u043d\u0435\u0442 \u0441\u0442\u0435\u043a\u0430, \u0433\u0434\u0435-\u0442\u043e \u0441\u0442\u0435\u043a \u0438 \u043d\u0435\u0442 \u0431\u0435\u043d\u0447\u0435\u0439, \u0433\u0434\u0435-\u0442\u043e \u0431\u0435\u043d\u0447\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u2014 \u0438 \u0436\u0435\u043b\u0435\u0437\u043e \u0441 \u0446\u0435\u043d\u0430\u043c\u0438, \u0438 \u0441\u0442\u0435\u043a \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0433\u0440\u0430\u0431\u043b\u044f\u043c\u0438, \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u043f\u043e \u0447\u0435\u0442\u044b\u0440\u0451\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c: 108 LLM \u0447\u0435\u0440\u0435\u0437 Ollama, 14 image-gen \u0447\u0435\u0440\u0435\u0437 sd.cpp\/Ollama, 6 video-gen \u0447\u0435\u0440\u0435\u0437 sd.cpp\/diffusers, \u043f\u043b\u044e\u0441 STT-\u0431\u043b\u043e\u043a (Whisper-large-v3). \u041a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, JSON, \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0430\u0448\u0431\u043e\u0440\u0434 \u2014 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0440\u0435\u043f\u043e\u00a0pocketcoder-ch\/v100-benchmarks-2026. \u0418\u0442\u043e\u0433\u043e 128 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435.\u0427\u0442\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0442\u0430\u043a\u0430\u044f:\u0427\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0438 \u0437\u0430\u0447\u0435\u043c (\u044d\u0442\u043e\u0442 \u0440\u0430\u0437\u0434\u0435\u043b).\u041f\u043e\u0447\u0435\u043c\u0443 V100 \u2014 \u043f\u0440\u043e \u0440\u044b\u043d\u043e\u043a, \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440\u044b (SXM2 vs SXM3 vs PCIe), \u0410\u0432\u0438\u0442\u043e\/\u0410\u043b\u0438\u042d\u043a\u0441\u043f\u0440\u0435\u0441\u0441, \u0447\u0442\u043e \u043c\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u044f\u043b\u0438.\u0416\u0435\u043b\u0435\u0437\u043e: \u0441\u043c\u0435\u0442\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a \u2014 i7, 2 \u043a\u0430\u0440\u0442\u044b, \u0411\u041f, RAM, \u043a\u043e\u0440\u043f\u0443\u0441.\u0413\u0440\u0430\u0431\u043b\u0438 Volta: vLLM-\u0441\u0442\u0435\u043a, \u0447\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \/ \u0447\u0442\u043e \u043d\u0435\u0442, SHM-wall \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 \u043c\u0430\u0441\u0441\u043e\u0432\u043e\u043c \u0431\u0435\u043d\u0447\u0435 \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043d\u0430 Ollama.\u041a\u0430\u043a \u043c\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u2014 \u0441\u0442\u0435\u043d\u0434, \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d STT+LLM, DP vs TP, \u043f\u0443\u0442\u044c A vs \u043f\u0443\u0442\u044c \u0411.128 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u00a0\u2014 108 LLM (\u0442\u043e\u043f-10 \/ \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043b\u043e\u0448\u0430\u0434\u043a\u0438 7\u20139B \/ \u0431\u043e\u043b\u044c\u0448\u0438\u0435 14\u201370B \/ \u00ab\u0433\u0434\u0435 \u0443\u043f\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a\u00bb), 14 image-gen, 6 video-gen, STT (Whisper-large-v3).\u041a\u043e\u0433\u0434\u0430 NVLink \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435\u043d \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u043f\u043e 128 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c.Failed \/ Skip \u2014 \u0447\u0442\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 Volta (FP8, MXFP4, NVFP4).\u0427\u0442\u043e \u0431\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438, \u0435\u0441\u043b\u0438 \u0431\u044b \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438.\u0412\u044b\u0432\u043e\u0434\u044b \u0438 \u0441\u0441\u044b\u043b\u043a\u0438.\u0421\u043a\u0440\u0438\u043f\u0442\u044b, \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0446\u0438\u0438, \u0441\u044b\u0440\u044b\u0435 JSON \u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0430\u0448\u0431\u043e\u0440\u0434 \u2014 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0440\u0435\u043f\u043e\u00a0pocketcoder-ch\/v100-benchmarks-2026. \u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 \u0441 2\u00d7 V100 \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u043b\u0430\u043d\u041f\u043e\u0447\u0435\u043c\u0443 V100: \u043e\u0442\u043a\u0443\u0434\u0430 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438 \u043a\u0430\u043a\u0438\u0435 \u043e\u043d\u0438 \u0431\u044b\u0432\u0430\u044e\u0442\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u0441\u043c\u0435\u0442\u0435 \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0443\u044e\u0449\u0438\u043c, \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f \u0441 \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c: \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 V100, \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043a\u0430\u0440\u0442\u0430, \u043a\u0430\u043a\u0438\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0430 \u0431\/\u0443-\u0440\u044b\u043d\u043a\u0435 \u0438 \u0447\u0442\u043e \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u0432\u0437\u044f\u043b\u0438. \u0414\u0430\u043b\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u0435\u0435, \u043a\u0430\u043a \u0441\u0431\u043e\u0440\u043a\u0430 \u0434\u043e\u0448\u043b\u0430 \u0434\u043e \u0441\u0432\u043e\u0435\u0433\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0438\u0434\u0430.\u041e\u0442\u043a\u0443\u0434\u0430 \u00ab\u0434\u0435\u0434\u0443\u0448\u043a\u0430\u00bb \u043d\u0430 \u0440\u044b\u043d\u043a\u0435Volta\u00a0\u2014 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 NVIDIA 2017 \u0433\u043e\u0434\u0430, compute capability 7.0. \u041f\u0440\u043e\u0448\u043b\u043e \u0442\u0440\u0438 \u043f\u043e\u043b\u043d\u044b\u0445 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 GPU:V100 \u2014 \u044d\u0442\u043e \u00ab\u043f\u0440\u0430\u0434\u0435\u0434\u0443\u0448\u043a\u0430\u00bb \u0442\u0435\u043a\u0443\u0449\u0435\u0439 B200\/H200. \u041f\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043a\u0435 \u2014 \u0442\u0440\u0438 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u0430\u0434.\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0432\u0442\u043e\u0440\u0438\u0447\u043a\u0435: \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0435\u0434\u0443\u0448\u043a\u0430. \u0414\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u044b (\u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u043f\u0430\u0434\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u044b) \u043c\u0430\u0441\u0441\u043e\u0432\u043e \u0432\u044b\u0432\u043e\u0434\u044f\u0442 V100 \u0438 \u043f\u0435\u0440\u0435\u0441\u0430\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 A100\/H100\/H200. \u041a\u0430\u0440\u0442\u044b \u0432\u044b\u0432\u0430\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\/\u0443-\u0440\u044b\u043d\u043e\u043a \u0447\u0435\u0440\u0435\u0437 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u0445 \u043f\u0435\u0440\u0435\u043a\u0443\u043f\u043e\u0432 \u0441 AliExpress, \u043e\u0442\u0442\u0443\u0434\u0430 \u0447\u0430\u0441\u0442\u044c \u0434\u043e\u0435\u0437\u0436\u0430\u0435\u0442 \u0434\u043e \u0410\u0432\u0438\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445.\u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u0431\/\u0443 \u0438\u0437 \u0414\u0426, \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 24\/7 \u0437\u0430 \u043f\u043b\u0435\u0447\u0430\u043c\u0438. \u041d\u043e \u043a\u0438\u0442\u0430\u0439\u0446\u044b \u043f\u0435\u0440\u0435\u0434 \u043f\u0440\u043e\u0434\u0430\u0436\u0435\u0439 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044e\u0442: \u043d\u043e\u0432\u0430\u044f \u0442\u0435\u0440\u043c\u043e\u043f\u0430\u0441\u0442\u0430, \u043f\u0435\u0440\u0435\u0442\u044f\u043d\u0443\u0442\u044b\u0435 \u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f, \u0441\u0432\u0435\u0436\u0438\u0439 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440. \u0423 \u043d\u0430\u0441 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u2014 \u043d\u0430\u0440\u0435\u043a\u0430\u043d\u0438\u0439 \u043d\u043e\u043b\u044c, \u0437\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0430 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0433\u043e\u0434\u0430.\u0414\u0432\u0430 \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 \u2014 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430V100 32 \u0413\u0411 \u043f\u0440\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0432\u00a0\u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u0445, \u0438 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430:\u041e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e \u043f\u0440\u0438 \u043f\u043e\u043a\u0443\u043f\u043a\u0435: SXM2 vs SXM3.\u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f V100 \u0432 \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440\u0435\u00a0SXM3\u00a0\u2014 \u0432\u043d\u0435\u0448\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 SXM2, \u043d\u043e\u00a0\u043d\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c \u043d\u0438 \u0441 SXM2-backplane, \u043d\u0438 \u0441 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u043c\u0438 OLOEY. \u041f\u043e\u0434 SXM3 \u043d\u0443\u0436\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u043e\u0438\u0442 ~20 000 \u20bd \u0438 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u0432\u0430\u043c \u043d\u0435 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f. \u041d\u0430 \u0410\u0432\u0438\u0442\u043e \u0438 AliExpress SXM3 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u043b\u0435\u0436\u0438\u0442 \u043f\u043e \u0446\u0435\u043d\u0435 SXM2 \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u2014 \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0431\u0435\u0440\u0443\u0442 \u0435\u0433\u043e \u043f\u043e \u043d\u0435\u0437\u043d\u0430\u043d\u0438\u044e, \u0430 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u043a\u0430\u0440\u0442\u0430 \u043d\u0435 \u0441\u0430\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u043e\u0431\u0432\u044f\u0437\u043a\u0443.\u00a0\u041f\u0435\u0440\u0435\u0434 \u043e\u043f\u043b\u0430\u0442\u043e\u0439 \u0432\u0441\u0435\u0433\u0434\u0430 \u0443\u0442\u043e\u0447\u043d\u044f\u0439\u0442\u0435 \u0443 \u043f\u0440\u043e\u0434\u0430\u0432\u0446\u0430, \u0447\u0442\u043e \u044d\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e SXM2.\u00a0\u0411\u0435\u0440\u0438\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e SXM2.\u0412\u0430\u0440\u0438\u0430\u043d\u0442 \u0410 \u2014 \u0433\u043e\u043b\u044b\u0439 SXM2-\u0447\u0438\u043f\u0421\u043a\u0440\u0438\u043d AliExpress: \u0433\u043e\u043b\u0430\u044f V100 SXM2 32GB \u0437\u0430 52 632 \u20bdSXM2 \u2014 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u0444\u043e\u0440\u043c-\u0444\u0430\u043a\u0442\u043e\u0440 NVIDIA: \u0447\u0438\u043f \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 mezzanine-\u043f\u043b\u0430\u0442\u0435, \u0432\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u044f\u043c\u043e \u0432 \u043c\u0430\u0442\u0435\u0440\u0438\u043d\u043a\u0443 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u044a\u0451\u043c SXM2, \u0430 \u043d\u0435 \u0432 PCIe-\u0441\u043b\u043e\u0442. \u0421\u0432\u0435\u0440\u0445\u0443 \u2014 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 PCB-\u043a\u0430\u0440\u0442\u044b \u043d\u0435\u0442.\u0426\u0435\u043d\u044b \u043d\u0430 2026-05-13:\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0446\u0435\u043d\u0430\u041f\u043e\u0448\u043b\u0438\u043d\u0430\u0418\u0442\u043e\u0433\u043e \/ \u043a\u0430\u0440\u0442\u0430AliExpress (Zhien Server Store)52 632 \u20bd~5 303 \u20bd57 935 \u20bd\u0410\u0440\u0442\u0438\u043a\u0443\u043b\u00a01005009880109662, 105 \u043a\u0443\u043f\u043b\u0435\u043d\u043e, \u0440\u0435\u0439\u0442\u0438\u043d\u0433 4.7. \u041d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u0442\u0438\u043f \u0442\u043e\u0432\u0430\u0440\u0430 \u0443\u043a\u0430\u0437\u0430\u043d \u043a\u0430\u043a \u00abUSB-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u00bb \u2014 \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u043a\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043f\u043e\u0434 \u043c\u043e\u0434\u0435\u0440\u0430\u0446\u0438\u044e AliExpress.\u0411\u0435\u0437 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u0438\u043a\u0430, \u0431\u0435\u0437 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440\u0430. \u0412\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0443\u044e \u043f\u043b\u0430\u0442\u0443 \u0441 SXM2-\u0441\u043e\u043a\u0435\u0442\u043e\u043c (\u0432 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442), \u043b\u0438\u0431\u043e \u0432\u00a0NVLink-backplane\u00a0\u2014 \u043f\u043b\u0430\u0442\u0430 \u0441 2\u20134 SXM2-\u0441\u043b\u043e\u0442\u0430\u043c\u0438, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 NVLink-\u0434\u043e\u0440\u043e\u0436\u043a\u0438 \u0440\u0430\u0437\u0432\u0435\u0434\u0435\u043d\u044b \u043f\u0440\u044f\u043c\u043e \u043f\u043e PCB. NVLink-backplane \u043d\u0430 2 GPU \u0441\u0442\u043e\u0438\u0442\u00a021 849 \u20bd\u00a0\u043d\u0430 \u0410\u043b\u0438 (\u0430\u0440\u0442\u0438\u043a\u0443\u043b\u00a01005010459772246).\u0421\u043a\u0440\u0438\u043d AliExpress: NVLink-backplane \u043d\u0430 2\u00d7 V100 SXM2 \u0437\u0430 21 849 \u20bd\u042d\u0442\u043e \u043f\u0443\u0442\u044c \u00ab\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043f\u043e\u0434 NVLink, \u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043e\u0431\u0432\u044f\u0437\u043a\u043e\u0439\u00bb. \u041e\u0445\u043b\u0430\u0434 \u0434\u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u2014 \u0432\u043e\u0434\u044f\u043d\u043a\u0430 SPEEDIER \u0437\u0430 3 726 \u20bd \u0438\u043b\u0438 \u043c\u0435\u0434\u043d\u0430\u044f \u0431\u0430\u0448\u043d\u044f OLOEY \u0437\u0430 6 271 \u20bd.\u0421\u043a\u0440\u0438\u043d AliExpress: \u0432\u043e\u0434\u044f\u043d\u043a\u0430 SPEEDIER \u0434\u043b\u044f V100 SXM2 \u0437\u0430 3 249 \u20bd\u0421\u043a\u0440\u0438\u043d AliExpress: \u043c\u0435\u0434\u043d\u0430\u044f \u0431\u0430\u0448\u043d\u044f OLOEY \u0434\u043b\u044f V100 SXM2 \u0437\u0430 4 439 \u20bd\u0412\u0430\u0440\u0438\u0430\u043d\u0442 \u0411 \u2014 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u043e\u0445\u043b\u0430\u0434\u043e\u043c\u0421\u043a\u0440\u0438\u043d AliExpress: OLOEY V100 \u0432 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0435 \u0441 \u0443\u043b\u0438\u0442\u043a\u043e\u0439 \u0437\u0430 59 835 \u20bd\u0413\u043e\u0442\u043e\u0432\u0430\u044f PCB: SXM2-\u0447\u0438\u043f \u0443\u0436\u0435 \u043f\u0440\u0438\u043f\u0430\u044f\u043d \u043d\u0430 PCIe-\u0430\u0434\u0430\u043f\u0442\u0435\u0440, \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0442\u043e\u0438\u0442 turbo-blower (\u00ab\u0443\u043b\u0438\u0442\u043a\u0430\u00bb). \u0412\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c, \u0432\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 PCIe x16 \u043b\u044e\u0431\u043e\u0439 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u0440\u0438. \u042d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435.\u0426\u0435\u043d\u0430 \u043d\u0430 2026-05-13:\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0446\u0435\u043d\u0430\u0414\u043e\u0441\u0442\u0430\u0432\u043a\u0430 + \u043f\u043e\u0448\u043b\u0438\u043d\u0430\u0418\u0442\u043e\u0433\u043e \/ \u043a\u0430\u0440\u0442\u0430AliExpress (Network Card Supplier, \u0431\u0440\u0435\u043d\u0434 OLOEY)59 835 \u20bd+ 2 409 \u20bd + ~6 383 \u20bd68 627 \u20bd\u0410\u0440\u0442\u0438\u043a\u0443\u043b\u00a01005010057680719, 268 \u043a\u0443\u043f\u043b\u0435\u043d\u043e, \u0440\u0435\u0439\u0442\u0438\u043d\u0433 4.8.\u042d\u0442\u043e \u043f\u0443\u0442\u044c \u00ab\u0432\u043e\u0442\u043a\u043d\u0443\u043b \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u00bb, \u043f\u043e\u0434 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443 \u0431\u0435\u0437 NVLink. \u041a\u0430\u0440\u0442\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043b\u044e\u0431\u0430\u044f \u043e\u0431\u044b\u0447\u043d\u0430\u044f PCIe-\u0432\u0438\u0434\u044f\u0445\u0430.\u0410\u0432\u0438\u0442\u043e vs AliExpress\u0421\u043a\u0440\u0438\u043d \u0410\u0432\u0438\u0442\u043e: V100 PCIe \u0441 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440\u043e\u043c \u043e\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u0437\u0430 70 000 \u20bd\u0413\u0434\u0435\u0427\u0442\u043e\u0418\u0442\u043e\u0433\u043e \u20bd\u0421\u0440\u043e\u043a\u0410\u043b\u0438 (Zhien Server Store)\u0413\u043e\u043b\u0430\u044f SXM2 32GB57 935 (\u0441 \u043f\u043e\u0448\u043b\u0438\u043d\u043e\u0439)2 \u043d\u0435\u0434\u0435\u043b\u0438\u0410\u043b\u0438 (Network Card Supplier, OLOEY)PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u0443\u043b\u0438\u0442\u043a\u043e\u043968 627 (\u0441 \u043f\u043e\u0448\u043b\u0438\u043d\u043e\u0439 + \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430)2 \u043d\u0435\u0434\u0435\u043b\u0438\u0410\u0432\u0438\u0442\u043ePCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0441 \u0440\u0430\u0434\u0438\u0430\u0442\u043e\u0440\u043e\u043c \u043e\u0442 \u0434\u0440. \u043a\u0430\u0440\u0442\u044b70 0002\u20134 \u0434\u043d\u044f\u041f\u0440\u0435\u043c\u0438\u044f \u0410\u0432\u0438\u0442\u043e-\u043f\u0435\u0440\u0435\u043a\u0443\u043f\u0430 \u043d\u0430\u0434 \u0410\u043b\u0438 \u0434\u043b\u044f PCIe-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u2014\u00a0~1.4\u043a \u20bd. \u041f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430 \u0437\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u043a\u043e\u043f\u0435\u0435\u0447\u043d\u0430\u044f. \u041c\u044b \u0431\u0440\u0430\u043b\u0438 \u0441 \u0410\u0432\u0438\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443: \u043b\u043e\u043f\u043d\u0443\u043b \u0447\u0438\u043f \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 3090 \u0432 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u0435, \u043d\u0443\u0436\u043d\u0430 \u0431\u044b\u043b\u0430 \u0431\u044b\u0441\u0442\u0440\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u043f\u043e\u0434 \u0443\u0436\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0441\u043e \u0441\u0432\u044f\u0437\u043a\u0430\u043c\u0438 \u043a \u0411\u0414. \u0410\u0440\u0435\u043d\u0434\u0430 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 \u0431\u044b \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0432\u0435\u0441\u044c \u0441\u043a\u0440\u0438\u043f\u0442 \u2014 \u043c\u043e\u0440\u043e\u0447\u0438\u0442\u044c\u0441\u044f \u0431\u044b\u043b\u043e \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u0434\u043e\u043f\u043b\u0430\u0442\u0438\u0442\u044c 1.4\u043a \u20bd \u0437\u0430 4 \u0434\u043d\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0432\u0443\u0445 \u043d\u0435\u0434\u0435\u043b\u044c.\u0427\u0442\u043e \u043c\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u044f\u043b\u0438 \u0438 \u043a\u0430\u043a \u043e\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442\u0412 \u0438\u0442\u043e\u0433\u0435 \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0435 \u2014\u00a02\u00d7 V100 32GB \u0432 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438\u00a0(\u041f\u0443\u0442\u044c \u0411, \u0441 \u0410\u0432\u0438\u0442\u043e). \u041a\u0430\u0440\u0442\u0430 \u043f\u0440\u0438\u0435\u0445\u0430\u043b\u0430 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u0430\u044f: SXM2-\u0447\u0438\u043f \u043d\u0430 PCIe-\u043f\u043b\u0430\u0442\u0435, \u0441\u0432\u0435\u0440\u0445\u0443 turbo-blower (\u00ab\u0443\u043b\u0438\u0442\u043a\u0430\u00bb), \u0437\u0430\u0434\u043d\u044f\u044f \u0441\u0442\u0435\u043d\u043a\u0430 \u0432\u0435\u043d\u0442\u0438\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f. \u0412\u0436\u0438\u0432\u0443\u044e \u2014 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0442\u043e\u0432\u0430\u044f \u0432\u0438\u0434\u044f\u0445\u0430, \u0440\u0430\u0437\u0432\u043e\u0434\u043a\u0430 \u043f\u043e\u0434 PCIe x16, \u0432\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u0443\u044e \u043c\u0430\u0442\u044c.\u0417\u0430\u043c\u0435\u0440 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u2014 \u0434\u043b\u0438\u043d\u0430 \u0438 \u0448\u0438\u0440\u0438\u043d\u0430 (\u0432\u0430\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e \u0441\u0431\u043e\u0440\u043a\u0438, \u0447\u0442\u043e \u0432\u043b\u0435\u0437\u0435\u0442 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441):\u0417\u0430\u043c\u0435\u0440 \u0434\u043b\u0438\u043d\u044b V100 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u043e\u043a\u043e\u043b\u043e 26 \u0441\u043c\u0417\u0430\u043c\u0435\u0440 \u0448\u0438\u0440\u0438\u043d\u044b V100 OLOEY PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0442\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442\u042d\u0442\u043e \u043a \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u043f\u0440\u043e \u043a\u043e\u0440\u043f\u0443\u0441: 26 \u0441\u043c \u0432 \u0434\u043b\u0438\u043d\u0443 \u0438 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0442\u043e\u0432\u0430\u044f \u0442\u0443\u0440\u0431\u0438\u043d\u0430 \u2014 \u0432 Micro-ATX \u0442\u0430\u043a\u043e\u0435 \u043d\u0435 \u0437\u0430\u043b\u0435\u0437\u0435\u0442, \u043d\u0443\u0436\u0435\u043d \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 Full Tower (\u043f\u0440\u043e \u043a\u043e\u0440\u043f\u0443\u0441 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u2014 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u0416\u0435\u043b\u0435\u0437\u043e\u00bb \u043d\u0438\u0436\u0435). \u0418 \u043f\u0440\u044f\u043c\u043e \u0437\u0434\u0435\u0441\u044c \u2014 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u043b\u044e\u0441 PCIe-\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u043d\u0430\u0434 \u0433\u043e\u043b\u044b\u043c SXM2: \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043e\u0431\u0432\u044f\u0437\u043a\u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f, \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0438 \u0431\u043b\u043e\u043a \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0441 \u0440\u0430\u0437\u044a\u0451\u043c\u0430\u043c\u0438 8-pin EPS \u0432\u044b\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442.V100 vs RTX 3090 \u0431\/\u0443 \u2014 \u0447\u0442\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c\u0412 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a \u0442\u0430\u043a\u0438\u043c \u0441\u0431\u043e\u0440\u043a\u0430\u043c \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0441\u043f\u043b\u044b\u0432\u0430\u0435\u0442: \u00ab\u0437\u0430 \u0442\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0432\u043e\u0437\u044c\u043c\u0438 \u0431\/\u0443\u00a0RTX 3090\u00a0\u2014 \u043e\u043d\u0430 \u043d\u043e\u0432\u0435\u0435, FP16 \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u0432\u0435\u0436\u0435\u0435\u00bb. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u044b, 3090 \u0432 \u0447\u0430\u0441\u0442\u0438 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435.\u041d\u043e:\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 V100 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u0434\u00a024\/7 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u0447\u0430\u0441\u043e\u0432. \u042d\u0442\u043e \u0448\u0442\u0430\u0442\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438, \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 \u0434\u0438\u0437\u0430\u0439\u043d.3090 \u2014 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0430\u044f \u043a\u0430\u0440\u0442\u0430, \u0448\u0442\u0430\u0442\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0443 \u043d\u0435\u0451 \u2014 \u0438\u0433\u0440\u043e\u0432\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u043e\u0432 \u0432 \u0434\u0435\u043d\u044c. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0435\u0451 \u043c\u0443\u0447\u0430\u043b\u0438 \u043c\u0430\u0439\u043d\u0435\u0440\u044b, \u043f\u043e\u0442\u043e\u043c \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u044b \u0418\u0418. \u042d\u0442\u043e\u00a0\u043d\u0435\u00a0\u0448\u0442\u0430\u0442\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c.V100 \u0443\u0436\u0435 \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0432 \u0414\u0426 \u0441\u0432\u043e\u044e \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u0438 \u043f\u0440\u0438\u0435\u0445\u0430\u043b\u0430 \u0432 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u043a\u0438\u0442\u0430\u0439\u0446\u0430\u043c\u0438. RTX 3090 \u0431\/\u0443 \u2014 \u044d\u0442\u043e \u043b\u0438\u0431\u043e \u00ab\u0431\u044b\u043b\u0430 \u0443 \u043c\u0430\u0439\u043d\u0435\u0440\u0430\u00bb, \u043b\u0438\u0431\u043e \u00ab\u0438\u0437-\u043f\u043e\u0434 \u0433\u0435\u0439\u043c\u0435\u0440\u0430, \u0442\u0435\u043f\u0435\u0440\u044c \u0447\u0443\u0436\u043e\u043c\u0443 \u0434\u044f\u0434\u0435\u00bb. \u041c\u044b V100 \u0434\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 2017 \u0433\u043e\u0434 \u0432\u044b\u043f\u0443\u0441\u043a\u0430.\u042d\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442 \u043f\u043e \u0436\u0435\u043b\u0435\u0437\u0443. \u041f\u043e \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0438 \u0441\u043e\u0444\u0442\u0443 \u0443 3090 \u0441\u0432\u043e\u0438 \u043f\u043b\u044e\u0441\u044b (24 \u0413\u0411 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043d\u0430 7B fp16 + 14B AWQ, \u0435\u0441\u0442\u044c \u043d\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u0432\u0435\u0436\u0438\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432). \u0412\u044b\u0431\u043e\u0440 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u00ab3090 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043b\u0443\u0447\u0448\u0435\u00bb \u2014 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435.\u041c\u0438\u043d\u0443\u0441\u044b V100 \u2014 4 \u043f\u0443\u043d\u043a\u0442\u0430\u0427\u0442\u043e\u0431\u044b \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0430 \u043f\u0440\u043e\u043f\u0430\u0433\u0430\u043d\u0434\u043e\u0439, \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u043c \u043c\u0438\u043d\u0443\u0441\u044b.\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 2\u20133 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u0430\u0434 (Volta cc 7.0).\u00a0\u041d\u0435\u0442 \u043d\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e\u00a0FP8, \u043d\u0435\u0442\u00a0FP4 \/ MXFP4 \/ NVFP4, \u043d\u0435\u0442 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 tensor cores. \u0421\u0432\u0435\u0436\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u0432 \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u0430\u0445\u00a0(gpt-oss-20b\/120b \u0432 MXFP4, Nemotron \u0432 NVFP4, \u043b\u044e\u0431\u0430\u044f Llama-FP8) \u0447\u0435\u0440\u0435\u0437 vLLM \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043d\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f. \u0427\u0435\u0440\u0435\u0437 Ollama GGUF Q4 \u2014 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437 \u043d\u0438\u0445 \u0435\u0434\u0435\u0442 (\u0442\u043e\u0442 \u0436\u0435 gpt-oss:20b \u0443 \u043d\u0430\u0441 \u0432\u044b\u0434\u0430\u043b 106.8 tps, gpt-oss:120b \u2014 74.7 tps \u043d\u0430 \u0442\u0440\u0451\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430). \u0414\u043b\u044f vLLM-\u0441\u0442\u0435\u043a\u0430 \u0438\u0449\u0438\u0442\u0435 AWQ\/GPTQ-\u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0443 \u0438\u043b\u0438 \u0433\u043e\u043d\u044f\u0439\u0442\u0435 \u0432 fp16\/bf16.\u0413\u0435\u043c\u043e\u0440\u0440\u043e\u0439 \u0441 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u043c\u0438.\u00a0vLLM \u043d\u0430 \u0441\u0432\u0435\u0436\u0438\u0445 \u0432\u0435\u0442\u043a\u0430\u0445 Volta \u0443\u0436\u0435 \u043d\u0435 \u0434\u0435\u0440\u0436\u0438\u0442, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e (\u0441\u043c. \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437\u0434\u0435\u043b). \u0413\u0434\u0435-\u0442\u043e \u0444\u0438\u0447\u0438 \u043d\u0435\u0442, \u0433\u0434\u0435-\u0442\u043e \u0441\u0432\u0435\u0436\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0432 \u0440\u0435\u0435\u0441\u0442\u0440\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442. \u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u043e\u0434 V100 \u2014 \u044d\u0442\u043e \u0447\u0442\u0435\u043d\u0438\u0435 issue-\u0442\u0440\u0435\u043a\u0435\u0440\u043e\u0432 \u0438 \u0444\u043e\u0440\u0443\u043c\u043e\u0432 \u043d\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043a\u0435.\u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043d\u0438\u0436\u0435.\u00a0HBM2 \u0443 V100 \u2014 900 GB\/s. \u0423 A100 \u2014 1.5\u20132 TB\/s, \u0443 H100 \u2014 3 TB\/s, \u0443 B200 \u2014 8 TB\/s. NVLink \u043d\u0430 TP \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0432\u044b\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442, \u043d\u043e \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u0435 \u043f\u0430\u043c\u044f\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u0440\u0442.\u0411\/\u0443 \u0438\u0437 \u0414\u0426.\u00a024\/7 \u0437\u0430 \u043f\u043b\u0435\u0447\u0430\u043c\u0438, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u043a\u0430\u0437\u0430 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0443 \u043d\u043e\u0432\u043e\u0439 \u043a\u0430\u0440\u0442\u044b. \u0417\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c\u0441\u044f \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c \u043d\u0430 \u0437\u0430\u043c\u0435\u043d\u0443, mission-critical \u043a\u043e\u043d\u0442\u0443\u0440 \u043d\u0430 V100 \u043d\u0435 \u0441\u0442\u0440\u043e\u0438\u043c.\u0422\u0435\u043f\u0435\u0440\u044c \u2014 \u043a \u0441\u0430\u043c\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435: \u0441\u043c\u0435\u0442\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f.\u0416\u0435\u043b\u0435\u0437\u043e: \u0441\u043c\u0435\u0442\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u2014 \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0441\u043c\u0435\u0442\u0430. \u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u043c \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u044b\u0431\u0440\u0430\u043d\u0430&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-481718","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/481718","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=481718"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/481718\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=481718"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=481718"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=481718"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}