{"id":490559,"date":"2026-08-11T12:29:08","date_gmt":"2026-08-11T12:29:08","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=490559"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2026-08-11T12:29:08","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=490559","title":{"rendered":"\u0422\u0435\u0441\u0442 Qwen3.5 9b, Gemma 4 12b \u0438 Bonsai 27b \u043d\u0430\u00a0\u043b\u0435\u0433\u0435\u043d\u0434\u0435 \u043f\u0435\u043d\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430 GTX 1080\u00a0ti"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u00a0\u0441\u00a0\u0438\u0434\u0435\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u041c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e\u00a0\u0431\u044b\u043b\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0434\u043b\u044f\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043f\u043e\u0434\u043a\u0430\u0441\u0442\u043e\u0432: \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442, \u043d\u0430\u0439\u0442\u0438 \u0432\u00a0\u043d\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u043a\u0443\u0441\u043a\u0438, \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0443\u0436\u0435 \u0438\u0437\u00a0\u043d\u0438\u0445 \u0434\u0435\u043b\u0430\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u043e\u043b\u0438\u043a\u0438.<\/p>\n<p>\u041e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u043d\u043e\u00a0\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u0442\u0443\u0434\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u0438 \u043d\u0435\u00a0\u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c. \u041f\u043b\u044e\u0441\u00a0\u0431\u044b\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u043e\u0436\u043d\u043e \u0443\u0435\u0445\u0430\u0442\u044c \u043d\u0430\u00a0\u0436\u0435\u043b\u0435\u0437\u0435.<\/p>\n<p>\u041f\u043e\u0434\u00a0\u0440\u0443\u043a\u043e\u0439\u00a0\u0431\u044b\u043b\u0430 GTX 1080\u00a0Ti \u043d\u0430 11\u00a0\u0413\u0411. \u041a\u0430\u0440\u0442\u0430 2017\u00a0\u0433\u043e\u0434\u0430, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Pascal, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 Tensor Cores. <\/p>\n<p>\u0422\u0430\u043a \u0438\u0437\u00a0\u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0432\u044b\u0440\u043e\u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u0441\u0442\u0435\u043d\u0434. \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0437\u0430\u0442\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u043b \u0441\u0432\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 reasoning\u2011\u0437\u0430\u0434\u0430\u0447 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0440\u0435\u0436\u0438\u043c\u044b \u0441\u00a0\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435\u043c \u0438 \u0431\u0435\u0437\u00a0\u043d\u0435\u0433\u043e. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u00a0\u0441\u043e\u0432\u0441\u0435\u043c \u0442\u0430\u043a\u0438\u043c\u0438, \u043a\u0430\u043a\u00a0\u044f \u043e\u0436\u0438\u0434\u0430\u043b.<\/p>\n<h2>\u0427\u0442\u043e\u00a0\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b<\/h2>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0412\u0430\u0440\u0438\u0430\u043d\u0442<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">9B Q4_K_M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Gemma 4<\/p>\n<\/td>\n<td>\n<p align=\"left\">12B Q4_0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Bonsai<\/p>\n<\/td>\n<td>\n<p align=\"left\">27B Q1_0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 runtime \u0434\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439\u00a0\u2014 LM Studio. \u0414\u043b\u044f\u00a0\u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b Ollama \u0438 llama.cpp. \u0412\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0433\u043e\u043d\u044f\u043b\u0438\u0441\u044c \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435.<\/p>\n<p>GPU: NVIDIA GeForce GTX 1080\u00a0Ti<br \/> VRAM: 11\u00a0GB<br \/> RAM: 32\u00a0GB<br \/> OS: Windows<br \/> NVIDIA Driver: 582.66<\/p>\n<h2>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u0441\u0435 \u0443\u043f\u0435\u0440\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c, \u0430\u00a0\u0432\u00a0\u0434\u0440\u0430\u0439\u0432\u0435\u0440<\/h2>\n<p>\u0414\u043e\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u044f \u0443\u0441\u043f\u0435\u043b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430\u00a0\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0433\u043b\u0443\u043f\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. Qwen3.5 9B \u0440\u0430\u043d\u044c\u0448\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0443\u00a0\u043c\u0435\u043d\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 40\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0432\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u043d\u043e\u00a0\u0432\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0441\u0442\u0430\u043b\u0430 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u043a\u043e\u043b\u043e 7\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 \u0434\u043e 582.66\u00a0CUDA \u0441\u043d\u043e\u0432\u0430 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043a\u0430\u043a\u00a0\u043d\u0430\u0434\u043e, \u0430\u00a0Qwen \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a 42\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c\/\u0441.<\/p>\n<h2>\u0422\u0435\u0441\u0442 1. \u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/h2>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0432\u0435\u0449\u044c: \u043c\u043e\u0436\u0435\u0442\u00a0\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438\u043b\u0438\u00a0\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u0432\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0434\u043b\u044f\u00a0\u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u0430.<\/p>\n<p>\u042f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 Python\u2011\u0441\u043a\u0440\u0438\u043f\u0442 \u0432\u00a0\u0434\u0443\u0445\u0435 Needle\u2011in\u2011a-Haystack. \u041e\u043d \u043d\u0430\u0431\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u044f\u0442\u044c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0432\u0441\u0435 \u043f\u044f\u0442\u044c.<\/p>\n<p>\u042f \u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430, \u043d\u043e\u00a0\u0438 \u043d\u0430\u00a0actual input tokens, TTFT, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n<h3>Qwen3.5 9B<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>Input tokens<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>TTFT<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Generation<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">31\u202f581<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">48.1\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">37.9\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">62\u202f868<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">125.5\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.6\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">98\u202f037<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">246.9\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.7\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">125\u202f394<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">366.0\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.5\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 125\u00a0\u0442\u044b\u0441\u044f\u0447\u0430\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 Qwen \u0432\u0441\u0435 \u0435\u0449\u0435 \u043d\u0430\u0448\u043b\u0430 \u0432\u0441\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u0444\u0430\u043a\u0442\u044b. <\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0443\u0437\u043a\u0438\u043c \u043c\u0435\u0441\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u00a0decode, \u0430\u00a0prefill. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0430\u0434\u0430\u043b\u0430 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e, \u0430\u00a0\u0432\u0440\u0435\u043c\u044f \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0440\u043e\u0441\u043b\u043e \u043e\u0447\u0435\u043d\u044c \u0437\u0430\u043c\u0435\u0442\u043d\u043e. \u041d\u0430 125k \u0432\u0445\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0443\u043c\u0430\u043b\u0430 \u043d\u0430\u0434 \u0441\u0430\u043c\u0438\u043c prompt \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0448\u0435\u0441\u0442\u044c \u043c\u0438\u043d\u0443\u0442, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0433\u0434\u0435 \u043e\u0434\u0438\u043d \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u044d\u0442\u043e \u0442\u0435\u0440\u043f\u0438\u043c\u043e. \u0414\u043b\u044f\u00a0\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0447\u0430\u0442\u0430 \u043d\u0430 100k \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u00a0\u2014 \u0443\u0436\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f.<\/p>\n<h3>Gemma 4 12B QAT<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>Input tokens<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>TTFT<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Generation<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">30\u202f711<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">110.0\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">24.8\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">61\u202f116<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">317.0\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.1\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Gemma \u0442\u043e\u0436\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u043b\u0430 \u0432\u0441\u0435 \u0444\u0430\u043a\u0442\u044b, \u043d\u043e\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434 \u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0432\u0430\u043b\u0430 \u0442\u044f\u0436\u0435\u043b\u0435\u0435. \u041d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 32k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 Qwen \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e 48\u00a0\u0441\u0435\u043a\u0443\u043d\u0434 \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, Gemma\u00a0\u2014 \u043e\u043a\u043e\u043b\u043e 110.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u00a0retrieval \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e\u00a0\u0434\u043b\u044f\u00a0\u0440\u043e\u043b\u0438\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 Qwen \u044f\u0432\u043d\u043e\u00a0\u0431\u044b\u043b\u0430 \u0443\u0434\u043e\u0431\u043d\u0435\u0435.<\/p>\n<h3>Bonsai 27B Q1<\/h3>\n<p>Bonsai \u044f \u0434\u043e\u0431\u0430\u0432\u0438\u043b \u0441\u043a\u043e\u0440\u0435\u0435 \u0438\u0437\u00a0\u043b\u044e\u0431\u043e\u043f\u044b\u0442\u0441\u0442\u0432\u0430. \u042d\u0442\u043e 27B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u043e\u0447\u0435\u043d\u044c \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0439 1-\u0431\u0438\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>Input tokens<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>TTFT<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Generation<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4\u202f222<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.5\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">28.0\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">31\u202f581<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">141.9\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">22.5\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u0440\u0438\u0447\u0435\u043c \u043d\u0435\u00a0\u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 1\u20132\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041d\u043e\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0439 prefill \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u0442\u044f\u0436\u0435\u043b\u044b\u043c \u0438\u0437\u00a0\u0442\u0440\u0435\u0445. \u041d\u0430 ~32k \u0432\u0445\u043e\u0434\u0430 \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u043e \u043e\u043a\u043e\u043b\u043e 142\u00a0\u0441\u0435\u043a\u0443\u043d\u0434.<\/p>\n<h2>Needle\u2011\u0442\u0435\u0441\u0442\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043c\u0430\u043b\u043e<\/h2>\n<p>\u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c 10\/10. \u0422\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u043d\u0430\u0448\u043b\u0430\u00a0\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0430\u043a\u0442\u00bb, \u043d\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u00a0\u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0430 \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u0442\u044c.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0432\u0442\u043e\u0440\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u041d\u0435\u00a0\u043d\u0430\u0443\u0447\u043d\u044b\u0439, \u043d\u0435\u00a0\u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u044e\u0449\u0438\u0439 \u043d\u0430\u00a0\u0437\u0430\u043c\u0435\u043d\u0443 MMLU \u0438\u043b\u0438\u00a0LongBench, \u0430\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u0437\u0430\u0434\u0430\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0434\u043e\u0431\u043d\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 API LM Studio.<\/p>\n<p>\u0412\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 25\u00a0\u0437\u0430\u0434\u0430\u043d\u0438\u0439 \u043f\u043e 4\u00a0\u0431\u0430\u043b\u043b\u0430. \u041f\u044f\u0442\u044c \u0431\u043b\u043e\u043a\u043e\u0432:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0411\u043b\u043e\u043a<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u043e\u0433\u0438\u043a\u0430 \u0438 \u0434\u0435\u0434\u0443\u043a\u0446\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Business reasoning<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Multi\u2011hop \u043f\u043e\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u044f, \u043b\u043e\u0432\u0443\u0448\u043a\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043d\u0430\u043b\u0438\u0437 \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 10k<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>Reasoning OFF:\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438<\/h2>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d\u00a0\u0431\u044b\u043b \u0441\u00a0reasoning \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0442\u0430\u043a\u0438\u043c\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Score<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Avg TTFT<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Generation<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Gemma 4 12B<\/p>\n<\/td>\n<td>\n<p align=\"left\">68\/100<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.98\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">33.68\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">115.1\u00a0\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Bonsai 27B<\/p>\n<\/td>\n<td>\n<p align=\"left\">48\/100<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.91\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.59\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">184.4\u00a0\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3.5 9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">44\/100<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.33\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">47.97\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.9\u00a0\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e\u00a0\u0441\u043d\u043e\u0432\u0430 \u0441\u043b\u043e\u043c\u0430\u043b \u0433\u0440\u0435\u0439\u0434\u0435\u0440. \u041d\u043e\u00a0\u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u0441\u044b\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u00a0\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0430\u044f.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 Qwen \u043e\u0448\u0438\u0431\u0430\u043b\u0430\u0441\u044c \u0432\u00a0\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0440\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0445 \u0440\u0430\u0441\u0447\u0435\u0442\u0430\u0445: \u0434\u0430\u0432\u0430\u043b\u0430 7.5\u00a0\u043c\u0435\u0441\u044f\u0446\u0430 \u0432\u043c\u0435\u0441\u0442\u043e 3.6\u00a0\u0432\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0430\u00a0\u043e\u043a\u0443\u043f\u0430\u0435\u043c\u043e\u0441\u0442\u044c, 133\u00a0\u0432\u043c\u0435\u0441\u0442\u043e 200\u00a0\u0432\u00a0\u0442\u043e\u0447\u043a\u0435 \u0431\u0435\u0437\u0443\u0431\u044b\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, 1\u00a0\u0432\u043c\u0435\u0441\u0442\u043e 4\u00a0\u0432\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0430\u00a0\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u044b.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0430\u00a0multi\u2011hop \u043f\u043e\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c \u043e\u043d\u0430 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u043b\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043b\u0443\u0447\u0448\u0435. \u0412\u043e\u0437\u043d\u0438\u043a\u043b\u043e \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0\u0431\u0435\u0437\u00a0reasoning \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438 \u043d\u0435\u00a0\u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c.<\/p>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0442\u043e\u0442\u00a0\u0436\u0435 \u043d\u0430\u0431\u043e\u0440 \u0435\u0449\u0435 \u0440\u0430\u0437, \u043d\u043e\u00a0\u0443\u0436\u0435 \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0434\u0443\u043c\u0430\u0442\u044c.<\/p>\n<h2>Reasoning ON: \u0432\u0435\u0440\u0442\u0430\u0435\u043c \u0434\u0438\u0432\u0430\u043d\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430 180\u00a0\u0433\u0440\u0430\u0434.<\/h2>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438: \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 16\u202f384, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 0, reasoning \u0432\u043a\u043b\u044e\u0447\u0435\u043d, \u043e\u0431\u0449\u0438\u0439\u00a0\u043b\u0438\u043c\u0438\u0442 \u0432\u044b\u0432\u043e\u0434\u0430 \u0438 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 2048\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0418 \u0432\u043e\u0442 \u0442\u0443\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0442\u0430\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u043c\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Score<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Avg TTFT<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Generation<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Bonsai 27B<\/p>\n<\/td>\n<td>\n<p align=\"left\">100\/100<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.73\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.66\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">1072.0\u00a0\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Gemma 4 12B<\/p>\n<\/td>\n<td>\n<p align=\"left\">100\/100<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.93\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.75\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">633.2\u00a0\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3.5 9B<\/p>\n<\/td>\n<td>\n<p align=\"left\">96\/100<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.33\u00a0\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">40.63\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">609.3\u00a0\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Qwen \u043e\u0448\u0438\u0431\u043b\u0430\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u00a0\u043e\u0434\u043d\u043e\u0439 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 25. Gemma \u0438 Bonsai \u043d\u0435\u00a0\u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c \u043d\u0438 \u0440\u0430\u0437\u0443.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Qwen<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Gemma<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Bonsai<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Logic<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Business<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Multi\u2011hop<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Causal \/ traps<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Analysis \u0434\u043e 10k<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c Qwen \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 44\/100\u00a0\u0434\u043e 96\/100, Bonsai\u00a0\u2014 \u0441 48\/100\u00a0\u0434\u043e 100\/100. \u041d\u0430\u00a0\u0442\u0435\u0445\u00a0\u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0441\u00a0\u0442\u0435\u043c\u00a0\u0436\u0435 runtime \u0438 \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u0435.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u044d\u0442\u043e\u00a0\u0431\u044b\u043b, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u0442\u0435\u0441\u0442\u043e\u0432: \u0440\u0435\u0436\u0438\u043c \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u00a0\u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u044b\u0431\u043e\u0440 \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h2>Gemma \u0432\u00a0\u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e<\/h2>\n<p>\u0414\u043e\u00a0\u0442\u0435\u0441\u0442\u0430 \u044f \u043e\u0436\u0438\u0434\u0430\u043b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0441\u043a\u043b\u0430\u0434: Qwen \u0431\u0443\u0434\u0435\u0442\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0439, Bonsai 27B\u00a0\u2014 \u0441\u0430\u043c\u043e\u0439 \u0443\u043c\u043d\u043e\u0439, \u0430\u00a0Gemma \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0433\u0434\u0435\u2011\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438.<\/p>\n<p>\u0412\u044b\u0448\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435. Bonsai \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 100\/100. \u041d\u043e\u00a0Gemma \u0442\u043e\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 100\/100\u00a0\u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<p>Gemma: 633.2\u00a0\u0441<br \/> Bonsai: 1072.0\u00a0\u0441<\/p>\n<p> Bonsai \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 69% \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p>Qwen \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430 \u0437\u0430 609.3\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 4%\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 Gemma \u043f\u043e\u00a0\u043f\u043e\u043b\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0442\u0435\u0441\u0442\u0430. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0437\u0430\u0431\u0430\u0432\u043d\u043e, \u0435\u0441\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: 40.6\u00a0tok\/s \u0443\u00a0Qwen \u043f\u0440\u043e\u0442\u0438\u0432 29.8\u00a0tok\/s \u0443\u00a0Gemma.<\/p>\n<p>\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0tok\/s\u00a0\u2014 \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u044b. \u0412\u00a0reasoning\u2011\u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u0430\u0436\u043d\u044b prefill, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0445 reasoning\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043b\u0433\u043e \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0423\u00a0Gemma \u043f\u043e\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u043c \u043b\u043e\u0433\u0430\u043c\u00a0\u0431\u044b\u043b\u043e \u043e\u043a\u043e\u043b\u043e 15\u00a0\u0442\u044b\u0441\u044f\u0447 reasoning\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430\u00a0\u0432\u0435\u0441\u044c \u0442\u0435\u0441\u0442. \u041e\u043d\u0430 \u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0430 \u0434\u043e\u00a0\u043b\u0438\u043c\u0438\u0442\u0430: \u043d\u0430\u00a0\u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0442\u0440\u0430\u0442\u0438\u043b\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0430\u00a0\u0441\u043b\u043e\u0436\u043d\u044b\u0445 multi\u2011hop \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e\u00a0\u0442\u044b\u0441\u044f\u0447\u0438.<\/p>\n<p>Bonsai \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u043b\u0430 \u0434\u043e\u043b\u044c\u0448\u0435, Qwen \u0447\u0430\u0449\u0435\u00a0\u0431\u044b\u043b\u0430\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c reasoning\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0decode speed \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u043e. \u0413\u043e\u0440\u0430\u0437\u0434\u043e \u0447\u0435\u0441\u0442\u043d\u0435\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u0432\u0440\u0435\u043c\u044f \u0434\u043e\u00a0\u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n<h2>\u0427\u0442\u043e\u00a0\u0431\u044b \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u0438\u0437\u00a0\u044d\u0442\u0438\u0445 \u0442\u0440\u0435\u0445<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u043e\u043b\u0438.<\/p>\n<p>Qwen3.5 9B \u044f\u00a0\u0431\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0434\u043b\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430. \u041e\u043d\u0430\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 prompt, \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u00a0\u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0432\u00a0reasoning\u2011\u0440\u0435\u0436\u0438\u043c\u0435 \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443.<\/p>\n<p>Gemma 4 12B QAT \u0441\u0442\u0430\u043b\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u043c \u0434\u043b\u044f\u00a0\u0437\u0430\u0434\u0430\u0447, \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e\u00a0\u0443\u0436\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0443. \u0412\u00a0\u043c\u043e\u0435\u043c \u0442\u0435\u0441\u0442\u0435 \u043e\u043d\u0430 \u0434\u0430\u043b\u0430 100\/100\u00a0\u0438 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043f\u043e\u00a0\u043f\u043e\u043b\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0440\u044f\u0434\u043e\u043c \u0441\u00a0Qwen.<\/p>\n<p>Bonsai 27B Q1\u00a0\u2014 \u0441\u0430\u043c\u044b\u0439 \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a. 27B \u043d\u0430\u00a0GTX 1080\u00a0Ti, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0441\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 reasoning\u2011\u0442\u0435\u0441\u0442 \u043d\u0430 100\/100, \u0441\u0430\u043c\u0430 \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u0435\u0442. \u041d\u043e\u00a0\u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0437\u0430\u0434\u0430\u0447 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e Gemma \u044f \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b, \u0430\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0443\u0448\u043b\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<h2>\u041a\u0430\u043a\u00a0\u044d\u0442\u043e \u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0441\u00a0\u043f\u043e\u0434\u043a\u0430\u0441\u0442\u0430\u043c\u0438<\/h2>\n<p>\u041c\u043e\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430\u00a0\u2014 \u043d\u0435\u00a0\u0440\u0435\u0448\u0430\u0442\u044c \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u043e\u043b\u043e\u0432\u043e\u043b\u043e\u043c\u043a\u0438, \u0430\u00a0\u0438\u0441\u043a\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0432\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0445. \u041f\u043e\u0441\u043b\u0435 \u0442\u0435\u0441\u0442\u043e\u0432 \u044f\u00a0\u0431\u044b \u0441\u0442\u0440\u043e\u0438\u043b \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0432\u00a0\u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430.<\/p>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442<br \/> |<br \/> v<br \/> Qwen3.5 9B, reasoning OFF<br \/>\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u0432\u044b\u043f\u0443\u0441\u043a \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 15\u201320\u00a0\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432<br \/> |<br \/> v<br \/> Gemma 4 12B, reasoning ON<br \/> \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0441\u0446\u0435\u043d\u044b<br \/> |<br \/> v<br \/> TOP-6\u00a0\u043a\u043b\u0438\u043f\u043e\u0432<\/p>\n<p>\u0422\u0430\u043a \u043d\u0435\u00a0\u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0435\u0441\u044c \u0432\u044b\u043f\u0443\u0441\u043a. Qwen \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0435\u0448\u0435\u0432\u0443\u044e \u043c\u0430\u0441\u0441\u043e\u0432\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443, \u0430\u00a0Gemma \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043c, \u0433\u0434\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u0430 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u044f \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u044e \u044d\u0442\u0443 \u0441\u0445\u0435\u043c\u0443 \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u0434\u043b\u044f\u00a0\u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u043e\u043b\u0436\u0435\u043d\u00a0\u0431\u044b\u0442\u044c \u0443\u0436\u0435 \u043d\u0435\u00a0\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c: \u0432\u0437\u044f\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u043f\u0443\u0441\u043a\u043e\u0432, \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u0438\u043f\u044b \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u043b\u0438\u0436\u0435 \u0432\u0441\u0435\u0433\u043e \u043a\u00a0\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435.<\/p>\n<h2>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0443<\/h2>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0439 \u0432\u043e\u0434\u044b. 25\u00a0\u0437\u0430\u0434\u0430\u0447\u00a0\u2014 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430. \u042d\u0442\u043e \u043d\u0435\u00a0\u043d\u0430\u0443\u0447\u043d\u044b\u0439 benchmark \u0438 \u0442\u043e\u0447\u043d\u043e \u043d\u0435\u00a0\u043f\u043e\u0432\u043e\u0434 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0442\u044c \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043b\u0443\u0447\u0448\u0435\u0439 \u0432\u043e\u043e\u0431\u0449\u0435\u00bb.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442\u00a0chat template, \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0432\u0435\u0440\u0441\u0438\u0438 runtime, reasoning budget, \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 \u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438 \u0441\u0430\u043c\u0438\u0445 \u0437\u0430\u0434\u0430\u0447. \u042f \u0443\u0436\u0435 \u0443\u0441\u043f\u0435\u043b \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0434\u0432\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435, \u0442\u0430\u043a \u0447\u0442\u043e\u00a0\u043a\u00a0\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u043c 100\/100\u00a0\u043e\u0442\u043d\u043e\u0448\u0443\u0441\u044c \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e.<\/p>\n<p>\u0417\u0430\u0442\u043e \u0443\u00a0\u0442\u0430\u043a\u043e\u0433\u043e \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430 \u0435\u0441\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043b\u044e\u0441: \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435, \u0432\u00a0\u043e\u0434\u043d\u043e\u043c runtime, \u0441\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435\u00a0\u0436\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u044f. \u0414\u043b\u044f\u00a0\u0432\u044b\u0431\u043e\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443 \u044d\u0442\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435, \u0447\u0435\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439 leaderboard, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u0441\u0442\u0435\u043a\u0435.<\/p>\n<p>\u0415\u0441\u043b\u0438\u00a0\u0431\u044b \u044f \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u043b \u0442\u0435\u0441\u0442 \u0434\u0430\u043b\u044c\u0448\u0435, \u044f\u00a0\u0431\u044b \u043d\u0435\u00a0\u043f\u0438\u0441\u0430\u043b \u0435\u0449\u0435 \u0441\u043e\u0442\u043d\u044e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432, \u0430\u00a0\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043b \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 MERA, RULER \u0438\u043b\u0438\u00a0lm\u2011evaluation\u2011harness \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043b, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f\u00a0\u043b\u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0440\u0430\u0441\u043a\u043b\u0430\u0434.<\/p>\n<h2>\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434<\/h2>\n<p>\u0421\u0430\u043c \u0442\u0435\u0441\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 API LM Studio. \u0417\u0430\u043f\u0440\u043e\u0441 \u0432\u00a0\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p>payload = {<br \/> \u201cmodel\u201d: model_id,<br \/> \u201cinput\u201d: prompt,<br \/> \u201csystem_prompt\u201d: system_prompt,<br \/> \u201ctemperature\u201d: 0.0,<br \/> \u201cmax_output_tokens\u201d: 2048,<br \/> \u201creasoning\u201d: \u201con\u201d,<br \/> \u201ccontext_length\u201d: 16384,<br \/> \u201cstream\u201d: False,<br \/> }<\/p>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0441\u0438\u0442 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043e\u0442\u0432\u0435\u0442:<\/p>\n<p>{\u201canswer\u201d:\u201cB\u201d}<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 Python \u0441\u0430\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 expected answer, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e input \u0438 reasoning tokens, TTFT, generation speed \u0438 wall time. \u0414\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u044d\u0442\u043e\u0433\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n<h2>\u0427\u0442\u043e\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0432\u00a0\u0441\u0443\u0445\u043e\u043c \u043e\u0441\u0442\u0430\u0442\u043a\u0435<\/h2>\n<p>\u042f \u043d\u0430\u0447\u0438\u043d\u0430\u043b \u0441\u00a0\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043a\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430: \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u0432 2026\u00a0\u0433\u043e\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c GTX 1080\u00a0Ti \u043a\u0430\u043a\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u0434\u043b\u044f\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 LLM, \u0430\u00a0\u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u043c\u043e\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u2014 \u0434\u0430, \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043d\u0435\u00a0\u0436\u0434\u0430\u0442\u044c \u043e\u0442\u00a0\u043d\u0435\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0433\u043e.<\/p>\n<p>Qwen3.5 9B<br \/>\u00a0\u2014 \u043e\u043a\u043e\u043b\u043e 40\u201348\u00a0tok\/s<br \/>\u00a0\u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043a\u0430\u043a\u00a0\u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043e ~125k<br \/>\u00a0\u2014 96\/100\u00a0\u0432\u00a0reasoning\u2011\u0442\u0435\u0441\u0442\u0435<\/p>\n<p> Gemma 4 12B QAT<br \/>\u00a0\u2014 100\/100\u00a0\u0432\u00a0reasoning\u2011\u0442\u0435\u0441\u0442\u0435<br \/>\u00a0\u2014 \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u00a0\u0436\u0435 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f, \u0447\u0442\u043e\u00a0\u0443\u00a0Qwen<br \/>\u00a0\u2014 \u043b\u0443\u0447\u0448\u0438\u0439 \u0431\u0430\u043b\u0430\u043d\u0441 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u00a0\u043c\u043e\u0435\u043c \u043d\u0430\u0431\u043e\u0440\u0435<\/p>\n<p> Bonsai 27B Q1\u00a0<br \/>\u00a0\u2014 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f 27B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 11\u00a0GB VRAM<br \/>\u00a0\u2014 100\/100\u00a0<br \/>\u00a0\u2014 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 Gemma \u043d\u0430\u00a0\u0442\u0435\u0445\u00a0\u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0430\u0445<\/p>\n<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1069290\/\">https:\/\/habr.com\/ru\/articles\/1069290\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412\u0441\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u00a0\u0441\u00a0\u0438\u0434\u0435\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u041c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e\u00a0\u0431\u044b\u043b\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0434\u043b\u044f\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043f\u043e\u0434\u043a\u0430\u0441\u0442\u043e\u0432: \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442, \u043d\u0430\u0439\u0442\u0438 \u0432\u00a0\u043d\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u043a\u0443\u0441\u043a\u0438, \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0443\u0436\u0435 \u0438\u0437\u00a0\u043d\u0438\u0445 \u0434\u0435\u043b\u0430\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u043e\u043b\u0438\u043a\u0438.\u041e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u043d\u043e\u00a0\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u0442\u0443\u0434\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u0438 \u043d\u0435\u00a0\u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c. \u041f\u043b\u044e\u0441\u00a0\u0431\u044b\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u043e\u0436\u043d\u043e \u0443\u0435\u0445\u0430\u0442\u044c \u043d\u0430\u00a0\u0436\u0435\u043b\u0435\u0437\u0435.\u041f\u043e\u0434\u00a0\u0440\u0443\u043a\u043e\u0439\u00a0\u0431\u044b\u043b\u0430 GTX 1080\u00a0Ti \u043d\u0430 11\u00a0\u0413\u0411. \u041a\u0430\u0440\u0442\u0430 2017\u00a0\u0433\u043e\u0434\u0430, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Pascal, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 Tensor Cores. \u0422\u0430\u043a \u0438\u0437\u00a0\u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0432\u044b\u0440\u043e\u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u0441\u0442\u0435\u043d\u0434. \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0437\u0430\u0442\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u043b \u0441\u0432\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 reasoning\u2011\u0437\u0430\u0434\u0430\u0447 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0440\u0435\u0436\u0438\u043c\u044b \u0441\u00a0\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435\u043c \u0438 \u0431\u0435\u0437\u00a0\u043d\u0435\u0433\u043e. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u00a0\u0441\u043e\u0432\u0441\u0435\u043c \u0442\u0430\u043a\u0438\u043c\u0438, \u043a\u0430\u043a\u00a0\u044f \u043e\u0436\u0438\u0434\u0430\u043b.\u0427\u0442\u043e\u00a0\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u041c\u043e\u0434\u0435\u043b\u044c\u0412\u0430\u0440\u0438\u0430\u043d\u0442Qwen3.59B Q4_K_MGemma 412B Q4_0Bonsai27B Q1_0 \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 runtime \u0434\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439\u00a0\u2014 LM Studio. \u0414\u043b\u044f\u00a0\u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b Ollama \u0438 llama.cpp. \u0412\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0433\u043e\u043d\u044f\u043b\u0438\u0441\u044c \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435.GPU: NVIDIA GeForce GTX 1080\u00a0Ti VRAM: 11\u00a0GB RAM: 32\u00a0GB OS: Windows NVIDIA Driver: 582.66\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u0441\u0435 \u0443\u043f\u0435\u0440\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c, \u0430\u00a0\u0432\u00a0\u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0414\u043e\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u044f \u0443\u0441\u043f\u0435\u043b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430\u00a0\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0433\u043b\u0443\u043f\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. Qwen3.5 9B \u0440\u0430\u043d\u044c\u0448\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0443\u00a0\u043c\u0435\u043d\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 40\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0432\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u043d\u043e\u00a0\u0432\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0441\u0442\u0430\u043b\u0430 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u043a\u043e\u043b\u043e 7\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441.\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 \u0434\u043e 582.66\u00a0CUDA \u0441\u043d\u043e\u0432\u0430 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043a\u0430\u043a\u00a0\u043d\u0430\u0434\u043e, \u0430\u00a0Qwen \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a 42\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c\/\u0441.\u0422\u0435\u0441\u0442 1. \u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0432\u0435\u0449\u044c: \u043c\u043e\u0436\u0435\u0442\u00a0\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438\u043b\u0438\u00a0\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u0432\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0434\u043b\u044f\u00a0\u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u0430.\u042f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 Python\u2011\u0441\u043a\u0440\u0438\u043f\u0442 \u0432\u00a0\u0434\u0443\u0445\u0435 Needle\u2011in\u2011a-Haystack. \u041e\u043d \u043d\u0430\u0431\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u044f\u0442\u044c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0432\u0441\u0435 \u043f\u044f\u0442\u044c.\u042f \u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430, \u043d\u043e\u00a0\u0438 \u043d\u0430\u00a0actual input tokens, TTFT, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430.Qwen3.5 9BInput tokens\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442TTFTGeneration31\u202f58110\/1048.1\u00a0\u044137.9\u00a0tok\/s62\u202f86810\/10125.5\u00a0\u044131.6\u00a0tok\/s98\u202f03710\/10246.9\u00a0\u044129.7\u00a0tok\/s125\u202f39410\/10366.0\u00a0\u044128.5\u00a0tok\/s \u041d\u0430 125\u00a0\u0442\u044b\u0441\u044f\u0447\u0430\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 Qwen \u0432\u0441\u0435 \u0435\u0449\u0435 \u043d\u0430\u0448\u043b\u0430 \u0432\u0441\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u0444\u0430\u043a\u0442\u044b. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0443\u0437\u043a\u0438\u043c \u043c\u0435\u0441\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u00a0decode, \u0430\u00a0prefill. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0430\u0434\u0430\u043b\u0430 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e, \u0430\u00a0\u0432\u0440\u0435\u043c\u044f \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0440\u043e\u0441\u043b\u043e \u043e\u0447\u0435\u043d\u044c \u0437\u0430\u043c\u0435\u0442\u043d\u043e. \u041d\u0430 125k \u0432\u0445\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0443\u043c\u0430\u043b\u0430 \u043d\u0430\u0434 \u0441\u0430\u043c\u0438\u043c prompt \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0448\u0435\u0441\u0442\u044c \u043c\u0438\u043d\u0443\u0442, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c.\u0414\u043b\u044f\u00a0\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0433\u0434\u0435 \u043e\u0434\u0438\u043d \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u044d\u0442\u043e \u0442\u0435\u0440\u043f\u0438\u043c\u043e. \u0414\u043b\u044f\u00a0\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0447\u0430\u0442\u0430 \u043d\u0430 100k \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u00a0\u2014 \u0443\u0436\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f.Gemma 4 12B QATInput tokens\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442TTFTGeneration30\u202f71110\/10110.0\u00a0\u044124.8\u00a0tok\/s61\u202f11610\/10317.0\u00a0\u044122.1\u00a0tok\/s Gemma \u0442\u043e\u0436\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u043b\u0430 \u0432\u0441\u0435 \u0444\u0430\u043a\u0442\u044b, \u043d\u043e\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434 \u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0432\u0430\u043b\u0430 \u0442\u044f\u0436\u0435\u043b\u0435\u0435. \u041d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 32k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 Qwen \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e 48\u00a0\u0441\u0435\u043a\u0443\u043d\u0434 \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, Gemma\u00a0\u2014 \u043e\u043a\u043e\u043b\u043e 110.\u0422\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u00a0retrieval \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e\u00a0\u0434\u043b\u044f\u00a0\u0440\u043e\u043b\u0438\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 Qwen \u044f\u0432\u043d\u043e\u00a0\u0431\u044b\u043b\u0430 \u0443\u0434\u043e\u0431\u043d\u0435\u0435.Bonsai 27B Q1Bonsai \u044f \u0434\u043e\u0431\u0430\u0432\u0438\u043b \u0441\u043a\u043e\u0440\u0435\u0435 \u0438\u0437\u00a0\u043b\u044e\u0431\u043e\u043f\u044b\u0442\u0441\u0442\u0432\u0430. \u042d\u0442\u043e 27B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u043e\u0447\u0435\u043d\u044c \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0439 1-\u0431\u0438\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438.Input tokens\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442TTFTGeneration4\u202f22210\/1014.5\u00a0\u044128.0\u00a0tok\/s31\u202f58110\/10141.9\u00a0\u044122.5\u00a0tok\/s \u041e\u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u0440\u0438\u0447\u0435\u043c \u043d\u0435\u00a0\u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 1\u20132\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\/\u0441. \u041d\u043e\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0439 prefill \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u0442\u044f\u0436\u0435\u043b\u044b\u043c \u0438\u0437\u00a0\u0442\u0440\u0435\u0445. \u041d\u0430 ~32k \u0432\u0445\u043e\u0434\u0430 \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u0440\u043e\u0448\u043b\u043e \u043e\u043a\u043e\u043b\u043e 142\u00a0\u0441\u0435\u043a\u0443\u043d\u0434.Needle\u2011\u0442\u0435\u0441\u0442\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043c\u0430\u043b\u043e\u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c 10\/10. \u0422\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u043d\u0430\u0448\u043b\u0430\u00a0\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0430\u043a\u0442\u00bb, \u043d\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u00a0\u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0430 \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u0442\u044c.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0432\u0442\u043e\u0440\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u041d\u0435\u00a0\u043d\u0430\u0443\u0447\u043d\u044b\u0439, \u043d\u0435\u00a0\u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u044e\u0449\u0438\u0439 \u043d\u0430\u00a0\u0437\u0430\u043c\u0435\u043d\u0443 MMLU \u0438\u043b\u0438\u00a0LongBench, \u0430\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u0437\u0430\u0434\u0430\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0434\u043e\u0431\u043d\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 API LM Studio.\u0412\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 25\u00a0\u0437\u0430\u0434\u0430\u043d\u0438\u0439 \u043f\u043e 4\u00a0\u0431\u0430\u043b\u043b\u0430. \u041f\u044f\u0442\u044c \u0431\u043b\u043e\u043a\u043e\u0432:\u0411\u043b\u043e\u043a\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u041b\u043e\u0433\u0438\u043a\u0430 \u0438 \u0434\u0435\u0434\u0443\u043a\u0446\u0438\u044f5Business reasoning5Multi\u2011hop \u043f\u043e\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c5\u041f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u044f, \u043b\u043e\u0432\u0443\u0448\u043a\u04385\u0410\u043d\u0430\u043b\u0438\u0437 \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 10k5 Reasoning OFF:\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d\u00a0\u0431\u044b\u043b \u0441\u00a0reasoning \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0442\u0430\u043a\u0438\u043c\u0438:\u041c\u043e\u0434\u0435\u043b\u044cScoreAvg TTFTGeneration\u041f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044fGemma 4 12B68\/1003.98\u00a0\u044133.68\u00a0tok\/s115.1\u00a0\u0441Bonsai 27B48\/1006.91\u00a0\u044132.59\u00a0tok\/s184.4\u00a0\u0441Qwen3.5 9B44\/1002.33\u00a0\u044147.97\u00a0tok\/s64.9\u00a0\u0441 \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e\u00a0\u0441\u043d\u043e\u0432\u0430 \u0441\u043b\u043e\u043c\u0430\u043b \u0433\u0440\u0435\u0439\u0434\u0435\u0440. \u041d\u043e\u00a0\u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u0441\u044b\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u00a0\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0430\u044f.\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 Qwen \u043e\u0448\u0438\u0431\u0430\u043b\u0430\u0441\u044c \u0432\u00a0\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0440\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0445 \u0440\u0430\u0441\u0447\u0435\u0442\u0430\u0445: \u0434\u0430\u0432\u0430\u043b\u0430 7.5\u00a0\u043c\u0435\u0441\u044f\u0446\u0430 \u0432\u043c\u0435\u0441\u0442\u043e 3.6\u00a0\u0432\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0430\u00a0\u043e\u043a\u0443\u043f\u0430\u0435\u043c\u043e\u0441\u0442\u044c, 133\u00a0\u0432\u043c\u0435\u0441\u0442\u043e 200\u00a0\u0432\u00a0\u0442\u043e\u0447\u043a\u0435 \u0431\u0435\u0437\u0443\u0431\u044b\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, 1\u00a0\u0432\u043c\u0435\u0441\u0442\u043e 4\u00a0\u0432\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0430\u00a0\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u044b.\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0430\u00a0multi\u2011hop \u043f\u043e\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c \u043e\u043d\u0430 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u043b\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043b\u0443\u0447\u0448\u0435. \u0412\u043e\u0437\u043d\u0438\u043a\u043b\u043e \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0\u0431\u0435\u0437\u00a0reasoning \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438 \u043d\u0435\u00a0\u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c.\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0442\u043e\u0442\u00a0\u0436\u0435 \u043d\u0430\u0431\u043e\u0440 \u0435\u0449\u0435 \u0440\u0430\u0437, \u043d\u043e\u00a0\u0443\u0436\u0435 \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0434\u0443\u043c\u0430\u0442\u044c.Reasoning ON: \u0432\u0435\u0440\u0442\u0430\u0435\u043c \u0434\u0438\u0432\u0430\u043d\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430 180\u00a0\u0433\u0440\u0430\u0434.\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438: \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 16\u202f384, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 0, reasoning \u0432\u043a\u043b\u044e\u0447\u0435\u043d, \u043e\u0431\u0449\u0438\u0439\u00a0\u043b\u0438\u043c\u0438\u0442 \u0432\u044b\u0432\u043e\u0434\u0430 \u0438 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 2048\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u0418 \u0432\u043e\u0442 \u0442\u0443\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0442\u0430\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u043c\u0438:\u041c\u043e\u0434\u0435\u043b\u044cScoreAvg TTFTGeneration\u041f\u043e\u043b\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044fBonsai 27B100\/1006.73\u00a0\u044127.66\u00a0tok\/s1072.0\u00a0\u0441Gemma 4 12B100\/1003.93\u00a0\u044129.75\u00a0tok\/s633.2\u00a0\u0441Qwen3.5 9B96\/1002.33\u00a0\u044140.63\u00a0tok\/s609.3\u00a0\u0441 Qwen \u043e\u0448\u0438\u0431\u043b\u0430\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u00a0\u043e\u0434\u043d\u043e\u0439 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 25. Gemma \u0438 Bonsai \u043d\u0435\u00a0\u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c \u043d\u0438 \u0440\u0430\u0437\u0443.\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044fQwenGemmaBonsaiLogic80%100%100%Business100%100%100%Multi\u2011hop100%100%100%Causal \/ traps100%100%100%Analysis \u0434\u043e 10k100%100%100% \u0422\u043e \u0435\u0441\u0442\u044c Qwen \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 44\/100\u00a0\u0434\u043e 96\/100, Bonsai\u00a0\u2014 \u0441 48\/100\u00a0\u0434\u043e 100\/100. \u041d\u0430\u00a0\u0442\u0435\u0445\u00a0\u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0441\u00a0\u0442\u0435\u043c\u00a0\u0436\u0435 runtime \u0438 \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u0435.\u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u044d\u0442\u043e\u00a0\u0431\u044b\u043b, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0441\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u0442\u0435\u0441\u0442\u043e\u0432: \u0440\u0435\u0436\u0438\u043c \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u00a0\u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u044b\u0431\u043e\u0440 \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.Gemma \u0432\u00a0\u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e\u0414\u043e\u00a0\u0442\u0435\u0441\u0442\u0430 \u044f \u043e\u0436\u0438\u0434\u0430\u043b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0441\u043a\u043b\u0430\u0434: Qwen \u0431\u0443\u0434\u0435\u0442\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0439, Bonsai 27B\u00a0\u2014 \u0441\u0430\u043c\u043e\u0439 \u0443\u043c\u043d\u043e\u0439, \u0430\u00a0Gemma \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0433\u0434\u0435\u2011\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438.\u0412\u044b\u0448\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435. Bonsai \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 100\/100. \u041d\u043e\u00a0Gemma \u0442\u043e\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 100\/100\u00a0\u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435.Gemma: 633.2\u00a0\u0441 Bonsai: 1072.0\u00a0\u0441  Bonsai \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 69% \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.Qwen \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430 \u0437\u0430 609.3\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 4%\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 Gemma \u043f\u043e\u00a0\u043f\u043e\u043b\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0442\u0435\u0441\u0442\u0430. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0437\u0430\u0431\u0430\u0432\u043d\u043e, \u0435\u0441\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: 40.6\u00a0tok\/s \u0443\u00a0Qwen \u043f\u0440\u043e\u0442\u0438\u0432 29.8\u00a0tok\/s \u0443\u00a0Gemma.\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0tok\/s\u00a0\u2014 \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u044b. \u0412\u00a0reasoning\u2011\u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u0430\u0436\u043d\u044b prefill, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0445 reasoning\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043b\u0433\u043e \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435.\u0423\u00a0Gemma \u043f\u043e\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u043c \u043b\u043e\u0433\u0430\u043c\u00a0\u0431\u044b\u043b\u043e \u043e\u043a\u043e\u043b\u043e 15\u00a0\u0442\u044b\u0441\u044f\u0447 reasoning\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430\u00a0\u0432\u0435\u0441\u044c \u0442\u0435\u0441\u0442. \u041e\u043d\u0430 \u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0430 \u0434\u043e\u00a0\u043b\u0438\u043c\u0438\u0442\u0430: \u043d\u0430\u00a0\u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0442\u0440\u0430\u0442\u0438\u043b\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0430\u00a0\u0441\u043b\u043e\u0436\u043d\u044b\u0445 multi\u2011hop \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e\u00a0\u0442\u044b\u0441\u044f\u0447\u0438.Bonsai \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u043b\u0430 \u0434\u043e\u043b\u044c\u0448\u0435, Qwen \u0447\u0430\u0449\u0435\u00a0\u0431\u044b\u043b\u0430\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c reasoning\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0decode speed \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u043e. \u0413\u043e\u0440\u0430\u0437\u0434\u043e \u0447\u0435\u0441\u0442\u043d\u0435\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u0432\u0440\u0435\u043c\u044f \u0434\u043e\u00a0\u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430.\u0427\u0442\u043e\u00a0\u0431\u044b \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u0438\u0437\u00a0\u044d\u0442\u0438\u0445 \u0442\u0440\u0435\u0445\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u043e\u043b\u0438.Qwen3.5 9B \u044f\u00a0\u0431\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0434\u043b\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430. \u041e\u043d\u0430\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 prompt, \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u00a0\u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0432\u00a0reasoning\u2011\u0440\u0435\u0436\u0438\u043c\u0435 \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443.Gemma 4 12B QAT \u0441\u0442\u0430\u043b\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u043c \u0434\u043b\u044f\u00a0\u0437\u0430\u0434\u0430\u0447, \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e\u00a0\u0443\u0436\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0443. \u0412\u00a0\u043c\u043e\u0435\u043c \u0442\u0435\u0441\u0442\u0435 \u043e\u043d\u0430 \u0434\u0430\u043b\u0430 100\/100\u00a0\u0438 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043f\u043e\u00a0\u043f\u043e\u043b\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0440\u044f\u0434\u043e\u043c \u0441\u00a0Qwen.Bonsai 27B Q1\u00a0\u2014 \u0441\u0430\u043c\u044b\u0439 \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a. 27B \u043d\u0430\u00a0GTX 1080\u00a0Ti, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0441\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 reasoning\u2011\u0442\u0435\u0441\u0442 \u043d\u0430 100\/100, \u0441\u0430\u043c\u0430 \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u0435\u0442. \u041d\u043e\u00a0\u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0437\u0430\u0434\u0430\u0447 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e Gemma \u044f \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b, \u0430\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0443\u0448\u043b\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435.\u041a\u0430\u043a\u00a0\u044d\u0442\u043e \u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0441\u00a0\u043f\u043e\u0434\u043a\u0430\u0441\u0442\u0430\u043c\u0438\u041c\u043e\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430\u00a0\u2014 \u043d\u0435\u00a0\u0440\u0435\u0448\u0430\u0442\u044c \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u043e\u043b\u043e\u0432\u043e\u043b\u043e\u043c\u043a\u0438, \u0430\u00a0\u0438\u0441\u043a\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0432\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0445. \u041f\u043e\u0441\u043b\u0435 \u0442\u0435\u0441\u0442\u043e\u0432 \u044f\u00a0\u0431\u044b \u0441\u0442\u0440\u043e\u0438\u043b \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0432\u00a0\u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430.\u041f\u043e\u043b\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442 | v Qwen3.5 9B, reasoning OFF\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u0432\u044b\u043f\u0443\u0441\u043a \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 15\u201320\u00a0\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 | v Gemma 4 12B, reasoning ON \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0441\u0446\u0435\u043d\u044b | v TOP-6\u00a0\u043a\u043b\u0438\u043f\u043e\u0432\u0422\u0430\u043a \u043d\u0435\u00a0\u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0435\u0441\u044c \u0432\u044b\u043f\u0443\u0441\u043a. Qwen \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0435\u0448\u0435\u0432\u0443\u044e \u043c\u0430\u0441\u0441\u043e\u0432\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443, \u0430\u00a0Gemma \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043c, \u0433\u0434\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u0430 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430.\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u044f \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u044e \u044d\u0442\u0443 \u0441\u0445\u0435\u043c\u0443 \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u0434\u043b\u044f\u00a0\u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u043e\u043b\u0436\u0435\u043d\u00a0\u0431\u044b\u0442\u044c \u0443\u0436\u0435 \u043d\u0435\u00a0\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c: \u0432\u0437\u044f\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u043f\u0443\u0441\u043a\u043e\u0432, \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u0438\u043f\u044b \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u043b\u0438\u0436\u0435 \u0432\u0441\u0435\u0433\u043e \u043a\u00a0\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435.\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0443\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0439 \u0432\u043e\u0434\u044b. 25\u00a0\u0437\u0430\u0434\u0430\u0447\u00a0\u2014 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430. \u042d\u0442\u043e \u043d\u0435\u00a0\u043d\u0430\u0443\u0447\u043d\u044b\u0439 benchmark \u0438 \u0442\u043e\u0447\u043d\u043e \u043d\u0435\u00a0\u043f\u043e\u0432\u043e\u0434 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0442\u044c \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043b\u0443\u0447\u0448\u0435\u0439 \u0432\u043e\u043e\u0431\u0449\u0435\u00bb.\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442\u00a0chat template, \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0432\u0435\u0440\u0441\u0438\u0438 runtime, reasoning budget, \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 \u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438 \u0441\u0430\u043c\u0438\u0445 \u0437\u0430\u0434\u0430\u0447. \u042f \u0443\u0436\u0435 \u0443\u0441\u043f\u0435\u043b \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0434\u0432\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435, \u0442\u0430\u043a \u0447\u0442\u043e\u00a0\u043a\u00a0\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u043c 100\/100\u00a0\u043e\u0442\u043d\u043e\u0448\u0443\u0441\u044c \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e.\u0417\u0430\u0442\u043e \u0443\u00a0\u0442\u0430\u043a\u043e\u0433\u043e \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430 \u0435\u0441\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043b\u044e\u0441: \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435, \u0432\u00a0\u043e\u0434\u043d\u043e\u043c runtime, \u0441\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435\u00a0\u0436\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u044f. \u0414\u043b\u044f\u00a0\u0432\u044b\u0431\u043e\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443 \u044d\u0442\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435, \u0447\u0435\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439 leaderboard, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u0441\u0442\u0435\u043a\u0435.\u0415\u0441\u043b\u0438\u00a0\u0431\u044b \u044f \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u043b \u0442\u0435\u0441\u0442 \u0434\u0430\u043b\u044c\u0448\u0435, \u044f\u00a0\u0431\u044b \u043d\u0435\u00a0\u043f\u0438\u0441\u0430\u043b \u0435\u0449\u0435 \u0441\u043e\u0442\u043d\u044e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432, \u0430\u00a0\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043b \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 MERA, RULER \u0438\u043b\u0438\u00a0lm\u2011evaluation\u2011harness \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043b, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f\u00a0\u043b\u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0440\u0430\u0441\u043a\u043b\u0430\u0434.\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434\u0421\u0430\u043c \u0442\u0435\u0441\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 API LM Studio. \u0417\u0430\u043f\u0440\u043e\u0441 \u0432\u00a0\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:payload = { \u201cmodel\u201d: model_id, \u201cinput\u201d: prompt, \u201csystem_prompt\u201d: system_prompt, \u201ctemperature\u201d: 0.0, \u201cmax_output_tokens\u201d: 2048, \u201creasoning\u201d: \u201con\u201d, \u201ccontext_length\u201d: 16384, \u201cstream\u201d: False, }\u041a\u0430\u0436\u0434\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0441\u0438\u0442 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043e\u0442\u0432\u0435\u0442:{\u201canswer\u201d:\u201cB\u201d}\u0414\u0430\u043b\u044c\u0448\u0435 Python \u0441\u0430\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 expected answer, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442,&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-490559","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490559","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=490559"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490559\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=490559"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=490559"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=490559"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}