{"id":480751,"date":"2026-05-23T11:38:15","date_gmt":"2026-05-23T11:38:15","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=480751"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=480751","title":{"rendered":"MTP \u0443 Qwen3.6 \u0432 llama.cpp \u043e\u0431\u0435\u0449\u0430\u0435\u0442 \u00d72 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0442\u0443 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 \u0441\u0432\u043e\u0435\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 \u2014 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h3>\u0412\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 (\u0438 \u0441\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438)<\/h3>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440.<\/p>\n<p>\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041b\u0430\u0437\u0443\u0442\u0438\u043d \u0410\u043b\u0435\u043a\u0441\u0435\u0439, \u044f\u00a0<strong>\u043d\u0435 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a<\/strong>. SEO, \u0430\u0443\u0434\u0438\u0442\u044b \u0441\u0430\u0439\u0442\u043e\u0432, \u043a\u0443\u0447\u0430 \u0440\u0443\u0442\u0438\u043d\u044b \u0441 CSV, curl, \u043e\u0442\u0447\u0451\u0442\u0430\u043c\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u0432 \u2014 \u0432\u043e\u0442 \u043c\u043e\u0439 \u0446\u0435\u0445. \u041a\u043e\u0434 \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u043f\u0438\u0448\u0443 \u00ab\u043a\u0430\u043a \u0443\u043c\u0435\u044e\u00bb: \u0441\u043a\u0440\u0438\u043f\u0442\u044b, Docker, \u043a\u043e\u043f\u0438\u043f\u0430\u0441\u0442\u0430 \u0441 LLM. \u0415\u0441\u043b\u0438 \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u043c \u2014 \u0432\u044b, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043f\u0440\u0430\u0432\u044b. \u042d\u0442\u043e \u043d\u0435 \u0443\u0447\u0435\u0431\u043d\u0438\u043a \u043f\u043e Python, \u0430\u00a0<strong>\u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u043e\u0442\u0447\u0451\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043d\u0435 \u0441\u0430\u043c\u043e\u043c\u0443 \u0431\u044b\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c.<\/p>\n<p>\u041d\u0435\u0434\u0430\u0432\u043d\u043e \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1036120\/\" rel=\"noopener noreferrer nofollow\">\u00abQwen3.6 27B MTP\u2026 \u0441 60 t\/s \u0434\u043e 130 t\/s\u00bb<\/a>\u00a0\u2014 \u043f\u0440\u043e Multi-Token Prediction, \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u00a0<strong>\u0447\u0438\u0441\u0442\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430<\/strong>\u00a0MoE-\u043c\u043e\u0434\u0435\u043b\u044c \u0441 MTP \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 \u043f\u043e\u043b\u0442\u043e\u0440\u0430\u2013\u0434\u0432\u0430 \u0440\u0430\u0437\u0430\u00a0<strong>\u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/strong>\u00a0(lossless, \u0435\u0441\u043b\u0438 \u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0437\u0431\u043e\u0440\u0443\u00a0<code>sampling.cpp<\/code>\u00a0\u0432 llama.cpp).<\/p>\n<p>\u042f \u043f\u043e\u0434\u0443\u043c\u0430\u043b: \u0443 \u043c\u0435\u043d\u044f \u043a\u0430\u043a \u0440\u0430\u0437\u00a0<strong>Qwen3.6-35B-A3B<\/strong>\u00a0\u0432 LM Studio, \u043f\u043b\u044e\u0441 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u0430\u0433\u0435\u043d\u0442\u00a0<strong>Hermes<\/strong>\u00a0\u0432 Docker \u2014 \u0442\u043e\u0442 \u0436\u0435 \u0441\u0442\u0435\u043a, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0438\u0448\u0443\u0442 \u0432 \u0434\u0443\u0445\u0435\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1025132\/\" rel=\"noopener noreferrer nofollow\">\u00ab\u0432\u044b\u0436\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 LLM\u00bb<\/a>, \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u043c\u0435\u043d\u044f \u043d\u0435 \u00ab\u043e\u0434\u0438\u043d \u043f\u0440\u043e\u043c\u043f\u0442 \u0432 \u0447\u0430\u0442\u00bb, \u0430\u00a0<strong>\u043c\u043d\u043e\u0433\u043e\u0445\u043e\u0434\u043e\u0432\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0441 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u043e\u043c \u0438 \u0444\u0430\u0439\u043b\u0430\u043c\u0438<\/strong>.<\/p>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441 \u0431\u044b\u043b \u043f\u0440\u043e\u0441\u0442\u043e\u0439:\u00a0<strong>\u0435\u0441\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c MTP-\u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u0442\u0430\u043d\u0435\u0442 \u043b\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043b\u0443\u0447\u0448\u0435 \u0442\u043e, \u0447\u0435\u043c \u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0441\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c?<\/strong><\/p>\n<p>\u0421\u043f\u043e\u0439\u043b\u0435\u0440:\u00a0<strong>\u0432 \u0441\u044b\u0440\u044b\u0445 t\/s \u044f \u043d\u0435 \u043c\u0435\u0440\u0438\u043b<\/strong>. \u042f \u0441\u043e\u0431\u0440\u0430\u043b\u00a0<strong>\u0441\u0432\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447<\/strong>\u00a0\u0438 \u0434\u0432\u0430\u0436\u0434\u044b \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0435\u0433\u043e \u2014 \u0438 \u0446\u0438\u0444\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435 \u0442\u0430\u043a\u0438\u0435, \u043a\u0430\u043a \u0432 \u0431\u0440\u043e\u0448\u044e\u0440\u0435 \u043f\u0440\u043e MTP.<\/p>\n<h3>\u041e\u0442\u043a\u0443\u0434\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 Hermes \u0438 \u0437\u0430\u0447\u0435\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a<\/h3>\n<p><strong>Hermes<\/strong>\u00a0\u0443 \u043c\u0435\u043d\u044f \u2014 \u044d\u0442\u043e \u043e\u0431\u0451\u0440\u0442\u043a\u0430:\u00a0<strong>Hermes Agent \u0432 Docker<\/strong>\u00a0\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0<strong>LM Studio<\/strong>\u00a0\u043d\u0430 Mac (<code>host.docker.internal:1234<\/code>). \u041f\u0440\u043e\u0444\u0438\u043b\u0438 \u043f\u043e\u0434 SEO-\u0430\u0443\u0434\u0438\u0442\u044b, handoff \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432, legal-\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f.<\/p>\n<p>\u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u044f \u043d\u0435 \u0445\u043e\u0442\u0435\u043b \u00ab\u043d\u0430 \u0433\u043b\u0430\u0437\u00bb \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u00ab\u043d\u0430\u043f\u0438\u0448\u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u00bb \u0438 \u0440\u0430\u0434\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443. \u041d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e:<\/p>\n<ol>\n<li>\n<p><strong>\u041e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0441\u0440\u0435\u0434\u0430<\/strong>\u00a0\u2014 \u0442\u043e\u0442 \u0436\u0435 Docker, \u0442\u0435 \u0436\u0435 toolsets, \u0442\u0435 \u0436\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 score<\/strong>\u00a0\u2014 \u043d\u0435 \u00ab\u043c\u043d\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u043e\u0441\u044c\u00bb, \u0430 \u00ab\u0444\u0430\u0439\u043b \u0435\u0441\u0442\u044c, \u0432 SQLite \u226520 https-\u0441\u0442\u0440\u043e\u043a, \u0432 JSON \u0435\u0441\u0442\u044c \u043a\u043b\u044e\u0447\u0438\u00bb.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0440\u0435\u043c\u044f \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0430\u0433\u0435\u043d\u0442\u0430<\/strong>\u00a0\u2014 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u044b\/\u0441\u0435\u043a, \u0430\u00a0<strong>wall-time<\/strong>\u00a0(\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0436\u0434\u0430\u043b) \u0438 \u0441\u0443\u043c\u043c\u0430\u00a0<strong>API latency<\/strong>\u00a0\u0438\u0437 \u043b\u043e\u0433\u043e\u0432 Hermes.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0430\u043a \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u00a0<code>hermes-data\/benchmarks\/<\/code>\u00a0\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430:<\/p>\n<p>.\/benchmark-qwen-models.sh<\/p>\n<p>\u042d\u0442\u043e\u00a0<strong>7 \u0437\u0430\u0434\u0430\u0447 \u00d7 2 \u043c\u043e\u0434\u0435\u043b\u0438 = 14 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/strong>\u00a0\u0447\u0435\u0440\u0435\u0437\u00a0<code>docker compose run \u2026 hermes chat<\/code>. \u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0430\u043f\u043a\u0430\u00a0<code>workspace\/benchmarks\/run-&lt;\u0434\u0430\u0442\u0430-\u0432\u0440\u0435\u043c\u044f&gt;\/<\/code>\u00a0\u0441 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0430\u043c\u0438, \u043b\u043e\u0433\u0430\u043c\u0438,\u00a0<code>REPORT.md<\/code>\u00a0\u0438\u00a0<code>summary.csv<\/code>.<\/p>\n<p>\u042f\u00a0<strong>\u043d\u0435 \u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u044e<\/strong>\u00a0\u043d\u0430 MMLU, HumanEval \u0438\u043b\u0438 SWE-bench. \u042d\u0442\u043e\u00a0<strong>\u043c\u043e\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0440\u0435\u0437<\/strong>: \u0444\u0430\u0439\u043b\u044b, \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0438, \u0447\u0443\u0442\u044c SQL \u2014 \u0442\u043e, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u0434\u0435\u043b\u0430\u0435\u0442 \u0443 \u043c\u0435\u043d\u044f \u0432 SEO\/\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435.<\/p>\n<h3>\u0427\u0442\u043e \u0437\u0430 \u0442\u0435\u0441\u0442\u044b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0438\u0435<\/h3>\n<p>\u0421\u043f\u0438\u0441\u043e\u043a \u0437\u0430\u0434\u0430\u0447 \u043b\u0435\u0436\u0438\u0442 \u0432\u00a0<code>tasks.yaml<\/code>\u00a0(suite\u00a0<code>qwen-hermes-agent-v1<\/code>). \u0418\u0434\u0435\u044f:\u00a0<strong>\u043d\u0435 \u0431\u043e\u043b\u0442\u043e\u0432\u043d\u044f<\/strong>, \u0430\u00a0<strong>tool calling<\/strong>\u00a0\u2014 Python, CSV, curl, SQLite, regex, JSON, \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0435 \u0440\u0435\u0437\u044e\u043c\u0435.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u2116<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u0430\u0434\u0430\u0447\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u0430\u0447\u0435\u043c \u0432 suite<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">Python \u043f\u043e CSV<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u043a\u0440\u0438\u043f\u0442 + \u0432\u044b\u0432\u043e\u0434: \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u00ab\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0439 \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0443\u00bb<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0431\u043e\u0440\u043a\u0430 15 \u0441\u0442\u0440\u043e\u043a (seed=42)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c, \u043e\u0442\u0447\u0451\u0442 \u0432 markdown<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">HTTP curl \u043f\u043e 5 URL<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439\u00a0<code>curl<\/code>, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e\u00a0<strong>\u0431\u0435\u043b\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a<\/strong>\u00a0(<code>example.com<\/code>,\u00a0<code>iana.org<\/code>) \u2014 \u0431\u0435\u0437 \u0447\u0443\u0436\u0438\u0445 \u0431\u043e\u0435\u0432\u044b\u0445 \u0441\u0430\u0439\u0442\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">SQLite \u0438\u0437 CSV<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0418\u043c\u043f\u043e\u0440\u0442 +\u00a0<code>COUNT<\/code>\u00a0\u0434\u043b\u044f\u00a0<code>https%<\/code>\u00a0\u2014 \u0447\u0430\u0441\u0442\u043e \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u0443 \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">Regex \u043f\u043e access-log<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0442\u0430\u0449\u0438\u0442\u044c email \u0438\u0437 \u043b\u043e\u0433\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<td>\n<p align=\"left\">JSON-\u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>products.json<\/code>\u00a0\u2192 summary \u0441 \u043f\u043e\u043b\u044f\u043c\u0438\u00a0<code>total_products<\/code>,\u00a0<code>categories<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0435\u0437\u044e\u043c\u0435 \u0441\u0442\u0430\u0442\u044c\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">5+ \u0441\u0442\u0440\u043e\u043a, \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0441\u043b\u043e\u0432\u0430 \u043f\u0440\u043e SEO \u2014 \u00ab\u043c\u044f\u0433\u043a\u0430\u044f\u00bb \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0435\u0437 \u0436\u0451\u0441\u0442\u043a\u043e\u0433\u043e \u044d\u0442\u0430\u043b\u043e\u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0424\u0438\u043a\u0441\u0442\u0443\u0440\u044b \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435<\/strong>\u00a0\u2014 \u0432\u044b\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u043e\u043c\u0435\u043d\u044b, \u0443\u0447\u0435\u0431\u043d\u044b\u0439 \u043b\u043e\u0433, \u0441\u0442\u0430\u0442\u044c\u044f. \u042e\u043d\u0438\u0442-\u0442\u0435\u0441\u0442\u044b \u043f\u0430\u043a\u0435\u0442\u0430 \u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f\u00a0<strong>\u0431\u0435\u0437 Docker \u0438 \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430<\/strong>; \u0441\u0435\u0442\u044c \u043d\u0443\u0436\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e task3.<\/p>\n<p><strong>Score<\/strong>\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u00a0<code>scoring.py<\/code>: \u0432\u0435\u0441\u0430 \u0437\u0430\u0434\u0430\u0447, \u0447\u0435\u043a\u0435\u0440\u044b (<code>files_exist<\/code>,\u00a0<code>python_syntax<\/code>,\u00a0<code>sqlite_https_count<\/code>,\u00a0<code>json_keys<\/code>, \u2026). \u0418\u0442\u043e\u0433 \u2014\u00a0<strong>\u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a<\/strong>. \u041f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0431\u0435\u0437 Hermes:<\/p>\n<p>.\/benchmark-qwen-models.sh &#8212;score-only RUN_DIR SLUG<\/p>\n<p><strong>\u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>wall \u03a3<\/strong>\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0436\u0434\u0430\u043b \u0448\u0430\u0433 \u0446\u0435\u043b\u0438\u043a\u043e\u043c (Docker + Hermes + tools + LM Studio);<\/p>\n<\/li>\n<li>\n<p><strong>API \u03a3<\/strong>\u00a0\u2014 \u0441\u0443\u043c\u043c\u0430\u00a0<code>latency=<\/code>\u00a0\u0438\u0437\u00a0<code>agent.log<\/code>\u00a0\u043f\u043e \u0441\u0435\u0441\u0441\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p><strong>api_calls \/ tool_calls<\/strong>\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0445\u043e\u0434\u0438\u043b\u0430 \u0432 \u043a\u0440\u0443\u0433\u00bb (\u043a\u0430\u0436\u0434\u044b\u0439 tool \u2248 \u043d\u043e\u0432\u044b\u0439 chat completion \u0432 LM Studio \u2014 \u043a\u0442\u043e \u0432\u0438\u0434\u0435\u043b \u043b\u043e\u0433 LM Studio, \u0442\u043e\u0442 \u043f\u043e\u0439\u043c\u0451\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043c \u0441\u043e\u0442\u043d\u044f \u0441\u0442\u0440\u043e\u043a \u00abPrompt processing progress\u00bb).<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e \u0434\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 LM Studio:<\/p>\n<ul>\n<li>\n<p><strong>\u0411\u0430\u0437\u043e\u0432\u0430\u044f:<\/strong>\u00a0<code>qwen\/qwen3.6-35b-a3b<\/code><\/p>\n<\/li>\n<li>\n<p><strong>MTP:<\/strong>\u00a0<code>qwen3.6-35b-a3b-mtp<\/code><\/p>\n<\/li>\n<\/ul>\n<h3>\u0414\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430: \u00ab\u0443\u0441\u0442\u0430\u0432\u0448\u0438\u0439 \u0432\u0435\u0447\u0435\u0440\u00bb \u0438 \u00ab\u0441\u0432\u0435\u0436\u0435\u0435 \u0443\u0442\u0440\u043e\u00bb<\/h3>\n<p>\u042f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u00a0<strong>\u0434\u0432\u0430 \u043f\u043e\u043b\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430<\/strong>\u00a0\u2014 \u043d\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u043b \u0432 \u043e\u0434\u0438\u043d \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0439 \u043e\u0442\u0447\u0451\u0442.<\/p>\n<h4>\u041f\u0440\u043e\u0433\u043e\u043d 1 \u2014\u00a0run-20260522-235929\u00a0(\u043a\u043e\u043d\u0435\u0446 \u0434\u043d\u044f)<\/h4>\n<p>LM Studio \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<strong>\u0443\u0436\u0435 \u0446\u0435\u043b\u044b\u0439 \u0434\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u0438\u043b\u0438\u0441\u044c<\/strong>\u00a0\u2014 \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0430\u0443\u0434\u0438\u0442\u044b, \u043d\u0435 \u043e\u0434\u0438\u043d \u0447\u0430\u0442.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Score<\/p>\n<\/th>\n<th>\n<p align=\"left\">wall \u03a3<\/p>\n<\/th>\n<th>\n<p align=\"left\">API \u03a3<\/p>\n<\/th>\n<th>\n<p align=\"left\">API calls<\/p>\n<\/th>\n<th>\n<p align=\"left\">tool calls<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>76.5%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">168 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>121.6 \u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">30<\/p>\n<\/td>\n<td>\n<p align=\"left\">27<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>100%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">190 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">144.8 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">36<\/p>\n<\/td>\n<td>\n<p align=\"left\">27<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u043e API \u2014 \u0431\u0430\u0437\u043e\u0432\u0430\u044f<\/strong>\u00a0(~23 \u0441 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438).<\/p>\n<p>\u041f\u043e \u0437\u0430\u0434\u0430\u0447\u0430\u043c:<\/p>\n<ul>\n<li>\n<p><strong>\u0411\u0430\u0437\u043e\u0432\u0430\u044f<\/strong>\u00a0\u043f\u0440\u043e\u0432\u0430\u043b\u0438\u043b\u0430\u00a0<strong>SQLite<\/strong>\u00a0(\u0444\u0430\u0439\u043b\u043e\u0432\u00a0<code>.db<\/code>\u00a0\u0438\u00a0<code>.txt<\/code>\u00a0\u043d\u0435\u0442) \u0438\u00a0<strong>JSON-\u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044e<\/strong>\u00a0(\u043d\u0435\u0442\u00a0<code>task6_summary-\u2026.json<\/code>).<\/p>\n<\/li>\n<li>\n<p><strong>MTP<\/strong>\u00a0\u0437\u0430\u043a\u0440\u044b\u043b\u0430\u00a0<strong>\u0432\u0441\u0435 7 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 100%<\/strong>.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c: \u00abMTP \u0443\u043c\u043d\u0435\u0435, \u0431\u0435\u0440\u0438\u0442\u0435 MTP\u00bb. \u041d\u043e \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0432\u0440\u0435\u043c\u044f:\u00a0<strong>MTP \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u043f\u043e wall \u0438 \u043f\u043e API<\/strong>, \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e tool calls \u0441\u043e\u0432\u043f\u0430\u043b\u0438. \u0422\u043e \u0435\u0441\u0442\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u00ab\u0432 2 \u0440\u0430\u0437\u0430\u00bb \u0438\u0437\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1036120\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e MTP<\/a>\u00a0<strong>\u0441\u044e\u0434\u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u043b\u043e\u0441\u044c<\/strong>\u00a0\u2014 \u0437\u0430\u0442\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u043e \u0447\u0438\u0441\u043b\u043e API-\u0432\u044b\u0437\u043e\u0432\u043e\u0432 (36 \u043f\u0440\u043e\u0442\u0438\u0432 30).<\/p>\n<h4>\u041f\u0440\u043e\u0433\u043e\u043d 2 \u2014\u00a0run-20260523-131304\u00a0(\u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f LM Studio)<\/h4>\n<p>\u0423\u0442\u0440\u043e\u043c:\u00a0<strong>\u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b LM Studio<\/strong>, \u043f\u043e\u0434\u0442\u044f\u043d\u0443\u043b \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435, \u0441\u043d\u043e\u0432\u0430\u00a0<code>.\/benchmark-qwen-models.sh<\/code>.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Score<\/p>\n<\/th>\n<th>\n<p align=\"left\">wall \u03a3<\/p>\n<\/th>\n<th>\n<p align=\"left\">API \u03a3<\/p>\n<\/th>\n<th>\n<p align=\"left\">API calls<\/p>\n<\/th>\n<th>\n<p align=\"left\">tool calls<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>76.5%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>143 \u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>92.4 \u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">27<\/p>\n<\/td>\n<td>\n<p align=\"left\">24<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>88.2%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">190 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">132.7 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>42<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>32<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0421\u043d\u043e\u0432\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 API \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439<\/strong>\u00a0(~40 \u0441).<\/p>\n<p>\u0427\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0432\u0435\u0447\u0435\u0440\u043e\u043c:<\/p>\n<ul>\n<li>\n<p><strong>\u0411\u0430\u0437\u043e\u0432\u0430\u044f<\/strong>\u00a0\u2014 \u0442\u043e\u0442 \u0436\u0435\u00a0<strong>76.5%<\/strong>, \u043d\u043e\u00a0<strong>\u0431\u044b\u0441\u0442\u0440\u0435\u0435<\/strong>\u00a0(\u043c\u0435\u043d\u044c\u0448\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 GPU\/\u043a\u044d\u0448?).<\/p>\n<\/li>\n<li>\n<p><strong>MTP<\/strong>\u00a0\u2014 score\u00a0<strong>\u0443\u043f\u0430\u043b \u0441 100% \u0434\u043e 88.2%<\/strong>: \u0441\u043d\u043e\u0432\u0430\u00a0<strong>\u043d\u0435\u0442 SQLite<\/strong>\u00a0\u0443 \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439; \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0432\u0430\u043b\u0438\u043b\u0430\u0441\u044c\u00a0<strong>regex-\u0437\u0430\u0434\u0430\u0447\u0430<\/strong>\u00a0(\u0444\u0430\u0439\u043b \u043d\u0435 \u043f\u0440\u043e\u0448\u0451\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438), \u0443 MTP regex \u0443\u0436\u0435 \u043e\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0423 MTP\u00a0<strong>\u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435<\/strong>\u00a0API-\u0432\u044b\u0437\u043e\u0432\u043e\u0432 (42) \u0438 tool calls (32) \u2014 \u0430\u0433\u0435\u043d\u0442 \u00ab\u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f\u00bb \u0434\u043e\u043b\u044c\u0448\u0435, \u0445\u043e\u0442\u044f MTP \u043a\u0430\u043a \u0440\u0430\u0437 \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c\u00a0<strong>\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/strong>, \u0430 \u043d\u0435\u00a0<strong>\u0447\u0438\u0441\u043b\u043e \u0445\u043e\u0434\u043e\u0432<\/strong>.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0421\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0432\u0430\u043b \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u2014 task4 (SQLite).<\/strong>\u00a0\u0417\u043d\u0430\u0447\u0438\u0442, \u044d\u0442\u043e \u043d\u0435 \u00abMTP \u043f\u043b\u043e\u0445\u043e\u0439\u00bb, \u0430\u00a0<strong>\u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430<\/strong>: \u043c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u043e\u0432,\u00a0<code>execute_code<\/code>, \u043f\u0443\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u00a0<code>\/opt\/data\/<\/code>, \u043b\u0435\u0433\u043a\u043e \u043d\u0435 \u0434\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043b\u0438\u043c\u0438\u0442\u0430 \u0445\u043e\u0434\u043e\u0432.<\/p>\n<h3>\u0427\u0435\u043c \u043c\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 t\/s \u043d\u0430 Habr<\/h3>\n<p>\u0412\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1036120\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u043e MTP<\/a>\u00a0\u0437\u0430\u043c\u0435\u0440\u044b \u2014\u00a0<strong>\u043e\u0434\u0438\u043d \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442<\/strong>,\u00a0<code>llama-server<\/code>,\u00a0<code>--spec-type draft-mtp<\/code>, \u0437\u0430\u0434\u0430\u0447\u0438 \u00ab\u043a\u043e\u0434 \/ \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \/ \u0441\u043e\u0447\u0438\u043d\u0435\u043d\u0438\u0435\u00bb. \u0422\u0430\u043c MTP \u043d\u0430 Dense \u0434\u0430\u0451\u0442 \u0434\u043e ~2\u00d7 \u043d\u0430 \u043a\u043e\u0434\u0435, \u043d\u0430 MoE \u2014 \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435, \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u043d\u0430 \u00ab\u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u0435\u00bb.<\/p>\n<p>\u0423 \u043c\u0435\u043d\u044f \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043b\u043e\u0439:<\/p>\n<p>\u041f\u0440\u043e\u043c\u043f\u0442 \u2192 Hermes \u2192 tool (terminal \/ file \/ code) \u2192 \u0441\u043d\u043e\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u2192 \u2026 \u2192 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u2192 \u0430\u0432\u0442\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c\u00a0<strong>\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c = f(\u0447\u0438\u0441\u043b\u043e \u0445\u043e\u0434\u043e\u0432, \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u043e\u0440\u043c\u043e\u0437\u0430 Docker, LM Studio verbose, \u0443\u0441\u0442\u0430\u043b\u043e\u0441\u0442\u044c GPU)<\/strong>. MTP \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442\u00a0<strong>\u043e\u0434\u0438\u043d<\/strong>\u00a0forward pass, \u043d\u043e \u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u043d\u0430 MTP \u0434\u0435\u043b\u0430\u0435\u0442\u00a0<strong>\u043d\u0430 40% \u0431\u043e\u043b\u044c\u0448\u0435 API calls<\/strong>\u00a0(42 vs 27 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435), \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 wall-time \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u00a0<strong>\u0445\u0443\u0436\u0435<\/strong>, \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 lossless-\u0442\u043e\u043a\u0435\u043d\u0430\u0445.<\/p>\n<p>\u042d\u0442\u043e \u0431\u043b\u0438\u0436\u0435 \u043a \u0434\u0443\u0445\u0443\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1038390\/\" rel=\"noopener noreferrer nofollow\">\u00ab\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0442\u0435\u0441\u0442\u043e\u0432 \u043d\u0430 LLM\u00bb<\/a>\u00a0\u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u0434\u00a0<strong>\u0441\u0432\u043e\u044e<\/strong>\u00a0\u0440\u0443\u0442\u0438\u043d\u0443, \u0430 \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 ML-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u043c\u0435\u043d\u044f \u0440\u0443\u0442\u0438\u043d\u0430 \u043d\u0435 Postman, \u0430\u00a0<strong>SEO-\u0430\u0433\u0435\u043d\u0442 \u0441 \u0444\u0430\u0439\u043b\u0430\u043c\u0438<\/strong>.<\/p>\n<h3>\u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d pipeline (\u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0437\u0430\u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c)<\/h3>\n<p>\u041a\u0440\u0430\u0442\u043a\u043e, \u0431\u0435\u0437 \u043b\u0435\u043a\u0446\u0438\u0438 \u043f\u043e FastAPI:<\/p>\n<ul>\n<li>\n<p><code>benchmark-qwen-models.sh\u00a0\u2192 Python\u00a0pipeline.py\u00a0(preflight: Docker, \u043e\u0431\u0440\u0430\u0437, LM Studio).<\/code><\/p>\n<\/li>\n<li>\n<p><code>\u041f\u0440\u043e\u043c\u043f\u0442\u044b:\u00a0hermes-data\/prompts\/benchmark-qwen\/*.txt, \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440\u044b\u00a0{{RUN_DIR}},\u00a0{{MODEL_SLUG}}.<\/code><\/p>\n<\/li>\n<li>\n<p><code>\u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u2014\u00a0docker compose run\u00a0+ \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u00a0agent.log\u00a0(log_parse.py,\u00a0metrics_io.py).<\/code><\/p>\n<\/li>\n<li>\n<p><code>\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435:\u00a0REPORT.md,\u00a0metrics.json,\u00a0summary.csv,\u00a0SCORES-&lt;slug&gt;.json.<\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u0441\u0442\u044b \u043e\u0431\u0432\u044f\u0437\u043a\u0438 \u0431\u0435\u0437 \u0436\u0435\u043b\u0435\u0437\u0430:<\/p>\n<p>.\/test-benchmark.sh<\/p>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 suite \u2014\u00a0<strong>\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0447\u0430\u0441\u2013\u0434\u0432\u0430<\/strong>\u00a0\u0442\u0435\u0440\u043f\u0435\u043d\u0438\u044f (\u0432 README \u0447\u0435\u0441\u0442\u043d\u043e: \u043e\u0434\u0438\u043d \u0448\u0430\u0433 Hermes \u2248 2\u201315 \u043c\u0438\u043d\u0443\u0442). LM Studio \u0434\u0435\u0440\u0436\u0438\u0442\u00a0<strong>\u043e\u0434\u043d\u0443<\/strong>\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0432 GPU \u2014 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0434\u0432\u0435 \u043d\u0435 \u0433\u043e\u043d\u044f\u043b.<\/p>\n<p>\u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0430\u0447\u0435:<\/p>\n<p>HERMES_BENCH_MODEL_BASE=&#8217;qwen\/qwen3.6-35b-a3b&#8217; \\<\/p>\n<p>HERMES_BENCH_MODEL_MTP=&#8217;qwen3.6-35b-a3b-mtp&#8217; \\<\/p>\n<p>.\/benchmark-qwen-models.sh<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b (\u043b\u0438\u0447\u043d\u044b\u0435, \u043d\u0435 \u043d\u0430\u0443\u0447\u043d\u044b\u0435)<\/h3>\n<ol>\n<li>\n<p><strong>MTP \u0432 llama.cpp \u0438 MTP \u0432 \u00ab\u0430\u0433\u0435\u043d\u0442 + LM Studio + tools\u00bb \u2014 \u0440\u0430\u0437\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438.<\/strong>\u00a0\u0423 \u043c\u0435\u043d\u044f MTP\u00a0<strong>\u043d\u0435 \u0441\u0442\u0430\u043b \u0431\u044b\u0441\u0442\u0440\u0435\u0435<\/strong>\u00a0\u043f\u043e wall\/API; \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0431\u044b\u043b\u00a0<strong>\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435<\/strong>\u00a0\u0438\u00a0<strong>\u0431\u043e\u043b\u0435\u0435 \u0431\u043e\u043b\u0442\u043b\u0438\u0432<\/strong>\u00a0\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0432\u044b\u0437\u043e\u0432\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e score \u043f\u043b\u0430\u0432\u0430\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438<\/strong>\u00a0(100% \u2192 88.2% \u0443 MTP), \u043f\u0440\u0438 \u044d\u0442\u043e\u043c\u00a0<strong>\u0431\u0430\u0437\u043e\u0432\u0430\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e 76.5%<\/strong>\u00a0\u2014 \u043e\u0431\u0430 \u0440\u0430\u0437\u0430 \u0442\u0435 \u0436\u0435 \u0434\u044b\u0440\u044b, \u043f\u043b\u044e\u0441 \u0443\u0442\u0440\u043e\u043c \u0435\u0449\u0451 regex \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439. \u042d\u0442\u043e \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435:\u00a0<strong>\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043c\u0430\u043b\u043e<\/strong>, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u00ab\u0446\u0435\u043b\u044b\u0439 \u0434\u0435\u043d\u044c \u0433\u043e\u043d\u044f\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u00bb.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0430\u043c\u044b\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0432\u0430\u043b \u2014 SQLite (task4)<\/strong>\u00a0\u0443 \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0438 \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c. \u041d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435: \u0435\u0441\u043b\u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0435 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u2014\u00a0<strong>\u0438\u043c\u0435\u043d\u043d\u043e \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0435 \u00ab\u0441\u0434\u0435\u043b\u0430\u0439 \u0411\u0414 \u0438 \u043f\u043e\u043b\u043e\u0436\u0438 \u0444\u0430\u0439\u043b\u00bb<\/strong>\u00a0\u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u00ab\u043d\u0430\u043f\u0438\u0448\u0438 hello world\u00bb.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e MTP \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u0439\u00a0<strong>\u0432 \u0441\u0432\u043e\u0451\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0438<\/strong>\u00a0(t\/s, lossless, llama-server). \u042f \u043d\u0435 \u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0433\u0430\u044e\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1036120\/\" rel=\"noopener noreferrer nofollow\">Shannon<\/a>\u00a0\u2014 \u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e \u0441\u043b\u043e\u0439:\u00a0<strong>\u00ab\u0430 \u0443 \u0432\u0430\u0441 \u044d\u0442\u043e \u0432 \u0430\u0433\u0435\u043d\u0442\u0435?\u00bb<\/strong><\/p>\n<\/li>\n<li>\n<p>\u042f\u00a0<strong>\u043d\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a<\/strong>, \u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0439 suite \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0435\u0434\u0434\u0438\u0442, \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u00ab\u0432\u0447\u0435\u0440\u0430 \u0432\u0440\u043e\u0434\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00bb. LLM \u043f\u043e\u043c\u043e\u0433\u0430\u043b\u0438 \u043f\u0438\u0441\u0430\u0442\u044c Python \u0434\u043b\u044f scoring \u0438 \u0442\u0435\u0441\u0442\u043e\u0432 \u2014 \u043a\u0430\u043a \u0432\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1038390\/\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043f\u0440\u043e TGS<\/a>, \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0435\u043a\u0442 \u043c\u043e\u0439 \u0438 \u0437\u0430\u0442\u043e\u0447\u0435\u043d \u043f\u043e\u0434 Hermes.<\/p>\n<\/li>\n<\/ol>\n<h3>P.S. \u0434\u043b\u044f \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0442\u043e\u0440\u043e\u0432<\/h3>\n<ul>\n<li>\n<p><strong>\u0416\u0435\u043b\u0435\u0437\u043e<\/strong>\u00a0\u0432 \u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u043b \u2014 \u0443 \u043c\u0435\u043d\u044f Mac\u00a0Studio Apple M4 Max 128 \u0433\u0431 + LM Studio.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0435\u043f\u043e<\/strong>\u00a0\u2014 \u043a\u043e\u0434 suite, \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0438 \u043e\u0431\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 (\u043b\u043e\u0433\u0438, REPORT.md, summary.csv):<a href=\"https:\/\/github.com\/exelens\/hermes-qwen-benchmark\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/exelens\/hermes-qwen-benchmark<\/a><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1038480\/\">https:\/\/habr.com\/ru\/articles\/1038480\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 (\u0438 \u0441\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438)\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440.\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041b\u0430\u0437\u0443\u0442\u0438\u043d \u0410\u043b\u0435\u043a\u0441\u0435\u0439, \u044f\u00a0\u043d\u0435 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a. SEO, \u0430\u0443\u0434\u0438\u0442\u044b \u0441\u0430\u0439\u0442\u043e\u0432, \u043a\u0443\u0447\u0430 \u0440\u0443\u0442\u0438\u043d\u044b \u0441 CSV, curl, \u043e\u0442\u0447\u0451\u0442\u0430\u043c\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u0432 \u2014 \u0432\u043e\u0442 \u043c\u043e\u0439 \u0446\u0435\u0445. \u041a\u043e\u0434 \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u043f\u0438\u0448\u0443 \u00ab\u043a\u0430\u043a \u0443\u043c\u0435\u044e\u00bb: \u0441\u043a\u0440\u0438\u043f\u0442\u044b, Docker, \u043a\u043e\u043f\u0438\u043f\u0430\u0441\u0442\u0430 \u0441 LLM. \u0415\u0441\u043b\u0438 \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u043c \u2014 \u0432\u044b, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043f\u0440\u0430\u0432\u044b. \u042d\u0442\u043e \u043d\u0435 \u0443\u0447\u0435\u0431\u043d\u0438\u043a \u043f\u043e Python, \u0430\u00a0\u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u043e\u0442\u0447\u0451\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043d\u0435 \u0441\u0430\u043c\u043e\u043c\u0443 \u0431\u044b\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c.\u041d\u0435\u0434\u0430\u0432\u043d\u043e \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f\u00a0\u00abQwen3.6 27B MTP\u2026 \u0441 60 t\/s \u0434\u043e 130 t\/s\u00bb\u00a0\u2014 \u043f\u0440\u043e Multi-Token Prediction, \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u00a0\u0447\u0438\u0441\u0442\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430\u00a0MoE-\u043c\u043e\u0434\u0435\u043b\u044c \u0441 MTP \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 \u043f\u043e\u043b\u0442\u043e\u0440\u0430\u2013\u0434\u0432\u0430 \u0440\u0430\u0437\u0430\u00a0\u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430\u00a0(lossless, \u0435\u0441\u043b\u0438 \u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0437\u0431\u043e\u0440\u0443\u00a0sampling.cpp\u00a0\u0432 llama.cpp).\u042f \u043f\u043e\u0434\u0443\u043c\u0430\u043b: \u0443 \u043c\u0435\u043d\u044f \u043a\u0430\u043a \u0440\u0430\u0437\u00a0Qwen3.6-35B-A3B\u00a0\u0432 LM Studio, \u043f\u043b\u044e\u0441 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u0430\u0433\u0435\u043d\u0442\u00a0Hermes\u00a0\u0432 Docker \u2014 \u0442\u043e\u0442 \u0436\u0435 \u0441\u0442\u0435\u043a, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0438\u0448\u0443\u0442 \u0432 \u0434\u0443\u0445\u0435\u00a0\u00ab\u0432\u044b\u0436\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 LLM\u00bb, \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u043c\u0435\u043d\u044f \u043d\u0435 \u00ab\u043e\u0434\u0438\u043d \u043f\u0440\u043e\u043c\u043f\u0442 \u0432 \u0447\u0430\u0442\u00bb, \u0430\u00a0\u043c\u043d\u043e\u0433\u043e\u0445\u043e\u0434\u043e\u0432\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0441 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u043e\u043c \u0438 \u0444\u0430\u0439\u043b\u0430\u043c\u0438.\u0412\u043e\u043f\u0440\u043e\u0441 \u0431\u044b\u043b \u043f\u0440\u043e\u0441\u0442\u043e\u0439:\u00a0\u0435\u0441\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c MTP-\u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u0442\u0430\u043d\u0435\u0442 \u043b\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043b\u0443\u0447\u0448\u0435 \u0442\u043e, \u0447\u0435\u043c \u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0441\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c?\u0421\u043f\u043e\u0439\u043b\u0435\u0440:\u00a0\u0432 \u0441\u044b\u0440\u044b\u0445 t\/s \u044f \u043d\u0435 \u043c\u0435\u0440\u0438\u043b. \u042f \u0441\u043e\u0431\u0440\u0430\u043b\u00a0\u0441\u0432\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u00a0\u0438 \u0434\u0432\u0430\u0436\u0434\u044b \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0435\u0433\u043e \u2014 \u0438 \u0446\u0438\u0444\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435 \u0442\u0430\u043a\u0438\u0435, \u043a\u0430\u043a \u0432 \u0431\u0440\u043e\u0448\u044e\u0440\u0435 \u043f\u0440\u043e MTP.\u041e\u0442\u043a\u0443\u0434\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 Hermes \u0438 \u0437\u0430\u0447\u0435\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043aHermes\u00a0\u0443 \u043c\u0435\u043d\u044f \u2014 \u044d\u0442\u043e \u043e\u0431\u0451\u0440\u0442\u043a\u0430:\u00a0Hermes Agent \u0432 Docker\u00a0\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0LM Studio\u00a0\u043d\u0430 Mac (host.docker.internal:1234). \u041f\u0440\u043e\u0444\u0438\u043b\u0438 \u043f\u043e\u0434 SEO-\u0430\u0443\u0434\u0438\u0442\u044b, handoff \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432, legal-\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f.\u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u044f \u043d\u0435 \u0445\u043e\u0442\u0435\u043b \u00ab\u043d\u0430 \u0433\u043b\u0430\u0437\u00bb \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u00ab\u043d\u0430\u043f\u0438\u0448\u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u00bb \u0438 \u0440\u0430\u0434\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443. \u041d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e:\u041e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0441\u0440\u0435\u0434\u0430\u00a0\u2014 \u0442\u043e\u0442 \u0436\u0435 Docker, \u0442\u0435 \u0436\u0435 toolsets, \u0442\u0435 \u0436\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b.\u041e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 score\u00a0\u2014 \u043d\u0435 \u00ab\u043c\u043d\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u043e\u0441\u044c\u00bb, \u0430 \u00ab\u0444\u0430\u0439\u043b \u0435\u0441\u0442\u044c, \u0432 SQLite \u226520 https-\u0441\u0442\u0440\u043e\u043a, \u0432 JSON \u0435\u0441\u0442\u044c \u043a\u043b\u044e\u0447\u0438\u00bb.\u0412\u0440\u0435\u043c\u044f \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0430\u0433\u0435\u043d\u0442\u0430\u00a0\u2014 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u044b\/\u0441\u0435\u043a, \u0430\u00a0wall-time\u00a0(\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0436\u0434\u0430\u043b) \u0438 \u0441\u0443\u043c\u043c\u0430\u00a0API latency\u00a0\u0438\u0437 \u043b\u043e\u0433\u043e\u0432 Hermes.\u0422\u0430\u043a \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u00a0hermes-data\/benchmarks\/\u00a0\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430:.\/benchmark-qwen-models.sh\u042d\u0442\u043e\u00a07 \u0437\u0430\u0434\u0430\u0447 \u00d7 2 \u043c\u043e\u0434\u0435\u043b\u0438 = 14 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432\u00a0\u0447\u0435\u0440\u0435\u0437\u00a0docker compose run \u2026 hermes chat. \u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0430\u043f\u043a\u0430\u00a0workspace\/benchmarks\/run-&lt;\u0434\u0430\u0442\u0430-\u0432\u0440\u0435\u043c\u044f&gt;\/\u00a0\u0441 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0430\u043c\u0438, \u043b\u043e\u0433\u0430\u043c\u0438,\u00a0REPORT.md\u00a0\u0438\u00a0summary.csv.\u042f\u00a0\u043d\u0435 \u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u044e\u00a0\u043d\u0430 MMLU, HumanEval \u0438\u043b\u0438 SWE-bench. \u042d\u0442\u043e\u00a0\u043c\u043e\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0440\u0435\u0437: \u0444\u0430\u0439\u043b\u044b, \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0438, \u0447\u0443\u0442\u044c SQL \u2014 \u0442\u043e, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u0434\u0435\u043b\u0430\u0435\u0442 \u0443 \u043c\u0435\u043d\u044f \u0432 SEO\/\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435.\u0427\u0442\u043e \u0437\u0430 \u0442\u0435\u0441\u0442\u044b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0438\u0435\u0421\u043f\u0438\u0441\u043e\u043a \u0437\u0430\u0434\u0430\u0447 \u043b\u0435\u0436\u0438\u0442 \u0432\u00a0tasks.yaml\u00a0(suite\u00a0qwen-hermes-agent-v1). \u0418\u0434\u0435\u044f:\u00a0\u043d\u0435 \u0431\u043e\u043b\u0442\u043e\u0432\u043d\u044f, \u0430\u00a0tool calling\u00a0\u2014 Python, CSV, curl, SQLite, regex, JSON, \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0435 \u0440\u0435\u0437\u044e\u043c\u0435.\u2116\u0417\u0430\u0434\u0430\u0447\u0430\u0417\u0430\u0447\u0435\u043c \u0432 suite1Python \u043f\u043e CSV\u0421\u043a\u0440\u0438\u043f\u0442 + \u0432\u044b\u0432\u043e\u0434: \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u00ab\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0439 \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0443\u00bb2\u0412\u044b\u0431\u043e\u0440\u043a\u0430 15 \u0441\u0442\u0440\u043e\u043a (seed=42)\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c, \u043e\u0442\u0447\u0451\u0442 \u0432 markdown3HTTP curl \u043f\u043e 5 URL\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439\u00a0curl, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e\u00a0\u0431\u0435\u043b\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a\u00a0(example.com,\u00a0iana.org) \u2014 \u0431\u0435\u0437 \u0447\u0443\u0436\u0438\u0445 \u0431\u043e\u0435\u0432\u044b\u0445 \u0441\u0430\u0439\u0442\u043e\u04324SQLite \u0438\u0437 CSV\u0418\u043c\u043f\u043e\u0440\u0442 +\u00a0COUNT\u00a0\u0434\u043b\u044f\u00a0https%\u00a0\u2014 \u0447\u0430\u0441\u0442\u043e \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u0443 \u0430\u0433\u0435\u043d\u0442\u043e\u04325Regex \u043f\u043e access-log\u0412\u044b\u0442\u0430\u0449\u0438\u0442\u044c email \u0438\u0437 \u043b\u043e\u0433\u04306JSON-\u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044fproducts.json\u00a0\u2192 summary \u0441 \u043f\u043e\u043b\u044f\u043c\u0438\u00a0total_products,\u00a0categories7\u0420\u0435\u0437\u044e\u043c\u0435 \u0441\u0442\u0430\u0442\u044c\u04385+ \u0441\u0442\u0440\u043e\u043a, \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0441\u043b\u043e\u0432\u0430 \u043f\u0440\u043e SEO \u2014 \u00ab\u043c\u044f\u0433\u043a\u0430\u044f\u00bb \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0435\u0437 \u0436\u0451\u0441\u0442\u043a\u043e\u0433\u043e \u044d\u0442\u0430\u043b\u043e\u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0424\u0438\u043a\u0441\u0442\u0443\u0440\u044b \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435\u00a0\u2014 \u0432\u044b\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u043e\u043c\u0435\u043d\u044b, \u0443\u0447\u0435\u0431\u043d\u044b\u0439 \u043b\u043e\u0433, \u0441\u0442\u0430\u0442\u044c\u044f. \u042e\u043d\u0438\u0442-\u0442\u0435\u0441\u0442\u044b \u043f\u0430\u043a\u0435\u0442\u0430 \u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f\u00a0\u0431\u0435\u0437 Docker \u0438 \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430; \u0441\u0435\u0442\u044c \u043d\u0443\u0436\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e task3.Score\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u00a0scoring.py: \u0432\u0435\u0441\u0430 \u0437\u0430\u0434\u0430\u0447, \u0447\u0435\u043a\u0435\u0440\u044b (files_exist,\u00a0python_syntax,\u00a0sqlite_https_count,\u00a0json_keys, \u2026). \u0418\u0442\u043e\u0433 \u2014\u00a0\u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a. \u041f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0431\u0435\u0437 Hermes:.\/benchmark-qwen-models.sh &#8212;score-only RUN_DIR SLUG\u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438:wall \u03a3\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0436\u0434\u0430\u043b \u0448\u0430\u0433 \u0446\u0435\u043b\u0438\u043a\u043e\u043c (Docker + Hermes + tools + LM Studio);API \u03a3\u00a0\u2014 \u0441\u0443\u043c\u043c\u0430\u00a0latency=\u00a0\u0438\u0437\u00a0agent.log\u00a0\u043f\u043e \u0441\u0435\u0441\u0441\u0438\u0438;api_calls \/ tool_calls\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0445\u043e\u0434\u0438\u043b\u0430 \u0432 \u043a\u0440\u0443\u0433\u00bb (\u043a\u0430\u0436\u0434\u044b\u0439 tool \u2248 \u043d\u043e\u0432\u044b\u0439 chat completion \u0432 LM Studio \u2014 \u043a\u0442\u043e \u0432\u0438\u0434\u0435\u043b \u043b\u043e\u0433 LM Studio, \u0442\u043e\u0442 \u043f\u043e\u0439\u043c\u0451\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043c \u0441\u043e\u0442\u043d\u044f \u0441\u0442\u0440\u043e\u043a \u00abPrompt processing progress\u00bb).\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e \u0434\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 LM Studio:\u0411\u0430\u0437\u043e\u0432\u0430\u044f:\u00a0qwen\/qwen3.6-35b-a3bMTP:\u00a0qwen3.6-35b-a3b-mtp\u0414\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430: \u00ab\u0443\u0441\u0442\u0430\u0432\u0448\u0438\u0439 \u0432\u0435\u0447\u0435\u0440\u00bb \u0438 \u00ab\u0441\u0432\u0435\u0436\u0435\u0435 \u0443\u0442\u0440\u043e\u00bb\u042f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u00a0\u0434\u0432\u0430 \u043f\u043e\u043b\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u00a0\u2014 \u043d\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u043b \u0432 \u043e\u0434\u0438\u043d \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0439 \u043e\u0442\u0447\u0451\u0442.\u041f\u0440\u043e\u0433\u043e\u043d 1 \u2014\u00a0run-20260522-235929\u00a0(\u043a\u043e\u043d\u0435\u0446 \u0434\u043d\u044f)LM Studio \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u0443\u0436\u0435 \u0446\u0435\u043b\u044b\u0439 \u0434\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u0438\u043b\u0438\u0441\u044c\u00a0\u2014 \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0430\u0443\u0434\u0438\u0442\u044b, \u043d\u0435 \u043e\u0434\u0438\u043d \u0447\u0430\u0442.\u041c\u043e\u0434\u0435\u043b\u044cScorewall \u03a3API \u03a3API callstool calls\u0411\u0430\u0437\u043e\u0432\u0430\u044f76.5%168 \u0441121.6 \u04413027MTP100%190 \u0441144.8 \u04413627\u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u043e API \u2014 \u0431\u0430\u0437\u043e\u0432\u0430\u044f\u00a0(~23 \u0441 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438).\u041f\u043e \u0437\u0430\u0434\u0430\u0447\u0430\u043c:\u0411\u0430\u0437\u043e\u0432\u0430\u044f\u00a0\u043f\u0440\u043e\u0432\u0430\u043b\u0438\u043b\u0430\u00a0SQLite\u00a0(\u0444\u0430\u0439\u043b\u043e\u0432\u00a0.db\u00a0\u0438\u00a0.txt\u00a0\u043d\u0435\u0442) \u0438\u00a0JSON-\u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044e\u00a0(\u043d\u0435\u0442\u00a0task6_summary-\u2026.json).MTP\u00a0\u0437\u0430\u043a\u0440\u044b\u043b\u0430\u00a0\u0432\u0441\u0435 7 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 100%.\u041d\u0430 \u044d\u0442\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c: \u00abMTP \u0443\u043c\u043d\u0435\u0435, \u0431\u0435\u0440\u0438\u0442\u0435 MTP\u00bb. \u041d\u043e \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0432\u0440\u0435\u043c\u044f:\u00a0MTP \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u043f\u043e wall \u0438 \u043f\u043e API, \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e tool calls \u0441\u043e\u0432\u043f\u0430\u043b\u0438. \u0422\u043e \u0435\u0441\u0442\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u00ab\u0432 2 \u0440\u0430\u0437\u0430\u00bb \u0438\u0437\u00a0\u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e MTP\u00a0\u0441\u044e\u0434\u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u043b\u043e\u0441\u044c\u00a0\u2014 \u0437\u0430\u0442\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u043e \u0447\u0438\u0441\u043b\u043e API-\u0432\u044b\u0437\u043e\u0432\u043e\u0432 (36 \u043f\u0440\u043e\u0442\u0438\u0432 30).\u041f\u0440\u043e\u0433\u043e\u043d 2 \u2014\u00a0run-20260523-131304\u00a0(\u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f LM Studio)\u0423\u0442\u0440\u043e\u043c:\u00a0\u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b LM Studio, \u043f\u043e\u0434\u0442\u044f\u043d\u0443\u043b \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435, \u0441\u043d\u043e\u0432\u0430\u00a0.\/benchmark-qwen-models.sh.\u041c\u043e\u0434\u0435\u043b\u044cScorewall \u03a3API \u03a3API callstool calls\u0411\u0430\u0437\u043e\u0432\u0430\u044f76.5%143 \u044192.4 \u04412724MTP88.2%190 \u0441132.7 \u04414232\u0421\u043d\u043e\u0432\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 API \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439\u00a0(~40 \u0441).\u0427\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0432\u0435\u0447\u0435\u0440\u043e\u043c:\u0411\u0430\u0437\u043e\u0432\u0430\u044f\u00a0\u2014 \u0442\u043e\u0442 \u0436\u0435\u00a076.5%, \u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00a0(\u043c\u0435\u043d\u044c\u0448\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 GPU\/\u043a\u044d\u0448?).MTP\u00a0\u2014 score\u00a0\u0443\u043f\u0430\u043b \u0441 100% \u0434\u043e 88.2%: \u0441\u043d\u043e\u0432\u0430\u00a0\u043d\u0435\u0442 SQLite\u00a0\u0443 \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439; \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0432\u0430\u043b\u0438\u043b\u0430\u0441\u044c\u00a0regex-\u0437\u0430\u0434\u0430\u0447\u0430\u00a0(\u0444\u0430\u0439\u043b \u043d\u0435 \u043f\u0440\u043e\u0448\u0451\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438), \u0443 MTP regex \u0443\u0436\u0435 \u043e\u043a.\u0423 MTP\u00a0\u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435\u00a0API-\u0432\u044b\u0437\u043e\u0432\u043e\u0432 (42) \u0438 tool calls (32) \u2014 \u0430\u0433\u0435\u043d\u0442 \u00ab\u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f\u00bb \u0434\u043e\u043b\u044c\u0448\u0435, \u0445\u043e\u0442\u044f MTP \u043a\u0430\u043a \u0440\u0430\u0437 \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043d\u0435\u00a0\u0447\u0438\u0441\u043b\u043e \u0445\u043e\u0434\u043e\u0432.\u0421\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0432\u0430\u043b \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u2014 task4 (SQLite).\u00a0\u0417\u043d\u0430\u0447\u0438\u0442, \u044d\u0442\u043e \u043d\u0435 \u00abMTP \u043f\u043b\u043e\u0445\u043e\u0439\u00bb, \u0430\u00a0\u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430: \u043c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u043e\u0432,\u00a0execute_code, \u043f\u0443\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u00a0\/opt\/data\/, \u043b\u0435\u0433\u043a\u043e \u043d\u0435 \u0434\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043b\u0438\u043c\u0438\u0442\u0430 \u0445\u043e\u0434\u043e\u0432.\u0427\u0435\u043c \u043c\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 t\/s \u043d\u0430 Habr\u0412\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u043e MTP\u00a0\u0437\u0430\u043c\u0435\u0440\u044b \u2014\u00a0\u043e\u0434\u0438\u043d \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442,\u00a0llama-server,\u00a0&#8212;spec-type draft-mtp, \u0437\u0430\u0434\u0430\u0447\u0438 \u00ab\u043a\u043e\u0434 \/ \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \/ \u0441\u043e\u0447\u0438\u043d\u0435\u043d\u0438\u0435\u00bb. \u0422\u0430\u043c MTP \u043d\u0430 Dense \u0434\u0430\u0451\u0442 \u0434\u043e ~2\u00d7 \u043d\u0430 \u043a\u043e\u0434\u0435, \u043d\u0430 MoE \u2014 \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435, \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u043d\u0430 \u00ab\u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u0435\u00bb.\u0423 \u043c\u0435\u043d\u044f \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043b\u043e\u0439:\u041f\u0440\u043e\u043c\u043f\u0442 \u2192 Hermes \u2192 tool (terminal \/ file \/ code) \u2192 \u0441\u043d\u043e\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u2192 \u2026 \u2192 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u2192 \u0430\u0432\u0442\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430\u0417\u0434\u0435\u0441\u044c\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c = f(\u0447\u0438\u0441\u043b\u043e \u0445\u043e\u0434\u043e\u0432, \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u043e\u0440\u043c\u043e\u0437\u0430 Docker, LM Studio verbose, \u0443\u0441\u0442\u0430\u043b\u043e\u0441\u0442\u044c GPU). MTP \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442\u00a0\u043e\u0434\u0438\u043d\u00a0forward pass, \u043d\u043e \u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u043d\u0430 MTP \u0434\u0435\u043b\u0430\u0435\u0442\u00a0\u043d\u0430 40% \u0431\u043e\u043b\u044c\u0448\u0435 API calls\u00a0(42 vs 27 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435), \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 wall-time \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u00a0\u0445\u0443\u0436\u0435, \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 lossless-\u0442\u043e\u043a\u0435\u043d\u0430\u0445.\u042d\u0442\u043e \u0431\u043b\u0438\u0436\u0435 \u043a \u0434\u0443\u0445\u0443\u00a0\u00ab\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0442\u0435\u0441\u0442\u043e\u0432 \u043d\u0430 LLM\u00bb\u00a0\u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u0434\u00a0\u0441\u0432\u043e\u044e\u00a0\u0440\u0443\u0442\u0438\u043d\u0443, \u0430 \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 ML-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u043c\u0435\u043d\u044f \u0440\u0443\u0442\u0438\u043d\u0430 \u043d\u0435 Postman, \u0430\u00a0SEO-\u0430\u0433\u0435\u043d\u0442 \u0441 \u0444\u0430\u0439\u043b\u0430\u043c\u0438.\u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d pipeline (\u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0437\u0430\u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c)\u041a\u0440\u0430\u0442\u043a\u043e, \u0431\u0435\u0437 \u043b\u0435\u043a\u0446\u0438\u0438 \u043f\u043e FastAPI:benchmark-qwen-models.sh\u00a0\u2192 Python\u00a0pipeline.py\u00a0(preflight: Docker, \u043e\u0431\u0440\u0430\u0437, LM Studio).\u041f\u0440\u043e\u043c\u043f\u0442\u044b:\u00a0hermes-data\/prompts\/benchmark-qwen\/*.txt, \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440\u044b\u00a0{{RUN_DIR}},\u00a0{{MODEL_SLUG}}.\u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u2014\u00a0docker compose run\u00a0+ \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u00a0agent.log\u00a0(log_parse.py,\u00a0metrics_io.py).\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435:\u00a0REPORT.md,\u00a0metrics.json,\u00a0summary.csv,\u00a0SCORES-&lt;slug&gt;.json.\u0422\u0435\u0441\u0442\u044b \u043e\u0431\u0432\u044f\u0437\u043a\u0438 \u0431\u0435\u0437 \u0436\u0435\u043b\u0435\u0437\u0430:.\/test-benchmark.sh\u041f\u043e\u043b\u043d\u044b\u0439 suite \u2014\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0447\u0430\u0441\u2013\u0434\u0432\u0430\u00a0\u0442\u0435\u0440\u043f\u0435\u043d\u0438\u044f (\u0432 README \u0447\u0435\u0441\u0442\u043d\u043e: \u043e\u0434\u0438\u043d \u0448\u0430\u0433 Hermes \u2248 2\u201315 \u043c\u0438\u043d\u0443\u0442). LM Studio \u0434\u0435\u0440\u0436\u0438\u0442\u00a0\u043e\u0434\u043d\u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0432 GPU \u2014 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0434\u0432\u0435 \u043d\u0435 \u0433\u043e\u043d\u044f\u043b.\u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0430\u0447\u0435:HERMES_BENCH_MODEL_BASE=&#8217;qwen\/qwen3.6-35b-a3b&#8217; \\HERMES_BENCH_MODEL_MTP=&#8217;qwen3.6-35b-a3b-mtp&#8217; \\.\/benchmark-qwen-models.sh\u0412\u044b\u0432\u043e\u0434\u044b (\u043b\u0438\u0447\u043d\u044b\u0435, \u043d\u0435 \u043d\u0430\u0443\u0447\u043d\u044b\u0435)MTP \u0432 llama.cpp \u0438 MTP \u0432 \u00ab\u0430\u0433\u0435\u043d\u0442 + LM Studio + tools\u00bb \u2014 \u0440\u0430\u0437\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438.\u00a0\u0423 \u043c\u0435\u043d\u044f MTP\u00a0\u043d\u0435 \u0441\u0442\u0430\u043b \u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00a0\u043f\u043e wall\/API; \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0431\u044b\u043b\u00a0\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435\u00a0\u0438\u00a0\u0431\u043e\u043b\u0435\u0435 \u0431\u043e\u043b\u0442\u043b\u0438\u0432\u00a0\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0432\u044b\u0437\u043e\u0432\u043e\u0432.\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e score \u043f\u043b\u0430\u0432\u0430\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438\u00a0(100% \u2192 88.2% \u0443 MTP), \u043f\u0440\u0438 \u044d\u0442\u043e\u043c\u00a0\u0431\u0430\u0437\u043e\u0432\u0430\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e 76.5%\u00a0\u2014 \u043e\u0431\u0430 \u0440\u0430\u0437\u0430 \u0442\u0435 \u0436\u0435 \u0434\u044b\u0440\u044b, \u043f\u043b\u044e\u0441 \u0443\u0442\u0440\u043e\u043c \u0435\u0449\u0451 regex \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439. \u042d\u0442\u043e \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435:\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043c\u0430\u043b\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u00ab\u0446\u0435\u043b\u044b\u0439 \u0434\u0435\u043d\u044c \u0433\u043e\u043d\u044f\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u00bb.\u0421\u0430\u043c\u044b\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0432\u0430\u043b \u2014 SQLite (task4)\u00a0\u0443 \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0438 \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c. \u041d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435: \u0435\u0441\u043b\u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0435 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u2014\u00a0\u0438\u043c\u0435\u043d\u043d\u043e \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0435 \u00ab\u0441\u0434\u0435\u043b\u0430\u0439 \u0411\u0414 \u0438 \u043f\u043e\u043b\u043e\u0436\u0438 \u0444\u0430\u0439\u043b\u00bb\u00a0\u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u00ab\u043d\u0430\u043f\u0438\u0448\u0438 hello world\u00bb.\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e MTP \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u0439\u00a0\u0432 \u0441\u0432\u043e\u0451\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0438\u00a0(t\/s, lossless, llama-server). \u042f \u043d\u0435 \u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0433\u0430\u044e\u00a0Shannon\u00a0\u2014 \u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e \u0441\u043b\u043e\u0439:\u00a0\u00ab\u0430 \u0443 \u0432\u0430\u0441 \u044d\u0442\u043e \u0432 \u0430\u0433\u0435\u043d\u0442\u0435?\u00bb\u042f\u00a0\u043d\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a, \u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0439 suite \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0435\u0434\u0434\u0438\u0442, \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u00ab\u0432\u0447\u0435\u0440\u0430 \u0432\u0440\u043e\u0434\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00bb. LLM \u043f\u043e\u043c\u043e\u0433\u0430\u043b\u0438 \u043f\u0438\u0441\u0430\u0442\u044c Python \u0434\u043b\u044f scoring \u0438 \u0442\u0435\u0441\u0442\u043e\u0432 \u2014 \u043a\u0430\u043a \u0432\u00a0\u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043f\u0440\u043e TGS, \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0435\u043a\u0442 \u043c\u043e\u0439 \u0438 \u0437\u0430\u0442\u043e\u0447\u0435\u043d \u043f\u043e\u0434 Hermes.P.S. \u0434\u043b\u044f \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0442\u043e\u0440\u043e\u0432\u0416\u0435\u043b\u0435\u0437\u043e\u00a0\u0432 \u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u043b \u2014 \u0443 \u043c\u0435\u043d\u044f Mac\u00a0Studio Apple M4 Max 128 \u0433\u0431 + LM Studio.\u0420\u0435\u043f\u043e\u00a0\u2014 \u043a\u043e\u0434 suite, \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0438 \u043e\u0431\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 (\u043b\u043e\u0433\u0438, REPORT.md, summary.csv):https:\/\/github.com\/exelens\/hermes-qwen-benchmark\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 https:\/\/habr.com\/ru\/articles\/1038480\/<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-480751","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/480751","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=480751"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/480751\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=480751"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=480751"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=480751"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}