{"id":480127,"date":"2026-05-18T12:23:37","date_gmt":"2026-05-18T12:23:37","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=480127"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=480127","title":{"rendered":"\u041f\u0440\u043e\u0433\u043d\u0430\u043b \u0441\u0435\u043c\u044c LLM \u0447\u0435\u0440\u0435\u0437 \u0441\u0432\u043e\u0439 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u0411\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e Gemma 4 31B"},"content":{"rendered":"
\n

TL;DR \u2014 leaderboard \u0437\u0430 \u043e\u0434\u0438\u043d \u0432\u0437\u0433\u043b\u044f\u0434<\/h4>\n

\u0417\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 2 \u043d\u0435\u0434\u0435\u043b\u0438 \u0441\u043e\u0431\u0440\u0430\u043b \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0438\u0437 655 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u043e 35 \u0432\u0438\u0434\u0430\u043c \u0441\u043f\u043e\u0440\u0442\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043b \u0441\u0435\u043c\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0447\u0435\u0440\u0435\u0437 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0438\u0437 \u0442\u0440\u0451\u0445 \u0441\u0443\u0434\u0435\u0439: Claude Opus 4.7, Gemini 3.1 Pro, GPT-5.5, DeepSeek V4 Flash, Qwen 3.5 27B, Gemma 4 31B, Qwen 3.6 27B.<\/p>\n

Frontier-closed (Opus \/ Gemini \/ GPT-5.5) \u2014 \u0442\u043e\u043f-3 \u043f\u043e \u0441\u044b\u0440\u044b\u043c \u0446\u0438\u0444\u0440\u0430\u043c. \u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0442\u043e\u043f (DeepSeek V4 Flash) \u2014 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f, +0.58 \u043e\u0442 Gemma. \u0418 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0431\u0430\u0437\u043e\u0439 \u041b\u0418\u0418 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f Gemma 4 31B<\/strong>. \u0417\u0430\u0449\u0438\u0442\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u2014 \u0442\u0440\u0438 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u0430 + \u0440\u0430\u0437\u0431\u043e\u0440 \u0433\u0434\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0436\u0438\u0432\u0451\u0442 \u0440\u0430\u0437\u0440\u044b\u0432 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d SFT-recoverable.<\/p>\n

\n
\n\n\n\n\n\n\n\n\n\n\n\n
\n

\u0420\u0430\u043d\u0433<\/p>\n<\/th>\n

\n

\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n

\n

\u0412\u0435\u0441\u0430<\/p>\n<\/th>\n

\n

n<\/p>\n<\/th>\n

\n

\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n

\n

\u041f\u043e\u043b\u043d\u043e\u0442\u0430<\/p>\n<\/th>\n

\n

\u0411\u043e\u043d\u0443\u0441<\/p>\n<\/th>\n

\n

RU<\/p>\n<\/th>\n

\n

Overall<\/strong><\/p>\n<\/th>\n<\/tr>\n

\n

1<\/p>\n<\/td>\n

\n

Claude Opus 4.7<\/p>\n<\/td>\n

\n

\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435<\/p>\n<\/td>\n

\n

200<\/p>\n<\/td>\n

\n

8.67<\/p>\n<\/td>\n

\n

9.16<\/p>\n<\/td>\n

\n

8.92<\/p>\n<\/td>\n

\n

9.65<\/p>\n<\/td>\n

\n

9.10<\/strong><\/p>\n<\/td>\n<\/tr>\n

\n

2<\/p>\n<\/td>\n

\n

Gemini 3.1 Pro Preview<\/p>\n<\/td>\n

\n

\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435<\/p>\n<\/td>\n

\n

200<\/p>\n<\/td>\n

\n

8.58<\/p>\n<\/td>\n

\n

8.72<\/p>\n<\/td>\n

\n

8.49<\/p>\n<\/td>\n

\n

9.74<\/p>\n<\/td>\n

\n

8.88<\/strong><\/p>\n<\/td>\n<\/tr>\n

\n

3<\/p>\n<\/td>\n

\n

GPT-5.5<\/p>\n<\/td>\n

\n

\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435<\/p>\n<\/td>\n

\n

200<\/p>\n<\/td>\n

\n

8.54<\/p>\n<\/td>\n

\n

8.35<\/p>\n<\/td>\n

\n

7.55<\/p>\n<\/td>\n

\n

9.68<\/p>\n<\/td>\n

\n

8.53<\/strong><\/p>\n<\/td>\n<\/tr>\n

\n

\u2014<\/p>\n<\/td>\n

\n

open \/ closed \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044c<\/em><\/p>\n<\/td>\n

\n

\n<\/td>\n

\n

\n<\/td>\n

\n

\n<\/td>\n

\n

\n<\/td>\n

\n

\n<\/td>\n

\n

\n<\/td>\n

\n

\n<\/td>\n<\/tr>\n

\n

4<\/p>\n<\/td>\n

\n

DeepSeek V4 Flash (MoE 284B\/13B)<\/p>\n<\/td>\n

\n

MIT<\/p>\n<\/td>\n

\n

193<\/p>\n<\/td>\n

\n

7.75<\/p>\n<\/td>\n

\n

8.06<\/p>\n<\/td>\n

\n

7.28<\/p>\n<\/td>\n

\n

9.05<\/p>\n<\/td>\n

\n

8.03<\/strong><\/p>\n<\/td>\n<\/tr>\n

\n

5<\/p>\n<\/td>\n

\n

Qwen 3.5 27B<\/p>\n<\/td>\n

\n

Apache 2.0<\/p>\n<\/td>\n

\n

199<\/p>\n<\/td>\n

\n

7.07<\/p>\n<\/td>\n

\n

7.46<\/p>\n<\/td>\n

\n

6.53<\/p>\n<\/td>\n

\n

9.03<\/p>\n<\/td>\n

\n

7.52<\/strong><\/p>\n<\/td>\n<\/tr>\n

\n

6<\/strong><\/p>\n<\/td>\n

\n

Gemma 4 31B Instruct \u2190 \u0431\u0430\u0437\u0430 \u041b\u0418\u0418<\/strong><\/p>\n<\/td>\n

\n

Gemma TOS<\/p>\n<\/td>\n

\n

200<\/p>\n<\/td>\n

\n

7.30<\/p>\n<\/td>\n

\n

7.39<\/p>\n<\/td>\n

\n

6.14<\/p>\n<\/td>\n

\n

8.98<\/p>\n<\/td>\n

\n

7.45<\/strong><\/p>\n<\/td>\n<\/tr>\n

\n

7<\/p>\n<\/td>\n

\n

Qwen 3.6 27B<\/p>\n<\/td>\n

\n

Apache 2.0<\/p>\n<\/td>\n

\n

200<\/p>\n<\/td>\n

\n

6.21<\/p>\n<\/td>\n

\n

6.31<\/p>\n<\/td>\n

\n

5.76<\/p>\n<\/td>\n

\n

8.42<\/p>\n<\/td>\n

\n

6.67<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n\n

1. \u0427\u0442\u043e \u0431\u044b\u043b\u043e \u0434\u043e<\/h4>\n

\u0414\u0432\u0435 \u043d\u0435\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u0430\u0434 \u0432\u044b\u043b\u043e\u0436\u0438\u043b \u043f\u043e\u0441\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0437\u0430 \u043e\u0434\u0438\u043d \u0432\u0435\u0447\u0435\u0440 (\u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u043e \u0441\u0435\u0441\u0441\u0438\u044f — \u043e\u0434\u043d\u0430) \u0441\u043e\u0431\u0440\u0430\u043b \u041b\u0418\u0418-\u0421\u043f\u043e\u0440\u0442-Bench-RU v0.1 \u2014 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0438\u0437 655 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u043e 35 \u0432\u0438\u0434\u0430\u043c \u0441\u043f\u043e\u0440\u0442\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u043e\u0441\u0435\u043c\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0432\u043e\u0441\u044c\u043c\u0438 Tier-1 \u0432\u0438\u0434\u043e\u0432 \u0441\u043f\u043e\u0440\u0442\u0430 (\u0431\u0430\u0441\u043a\u0435\u0442\u0431\u043e\u043b, \u0432\u043e\u043b\u0435\u0439\u0431\u043e\u043b, \u0444\u0443\u0442\u0431\u043e\u043b, \u0445\u043e\u043a\u043a\u0435\u0439, \u043f\u043b\u0430\u0432\u0430\u043d\u0438\u0435, \u043b\u0451\u0433\u043a\u0430\u044f \u0430\u0442\u043b\u0435\u0442\u0438\u043a\u0430, \u0431\u043e\u0440\u044c\u0431\u0430, \u0433\u0438\u043c\u043d\u0430\u0441\u0442\u0438\u043a\u0430): \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438 \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442, \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u043a, \u0431\u0438\u043e\u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430, \u043f\u0441\u0438\u0445\u043e\u043b\u043e\u0433\u0438\u044f, \u0440\u0435\u0433\u0443\u043b\u044f\u0442\u043e\u0440\u0438\u043a\u0430 \u0438 \u0444\u0435\u0434\u0435\u0440\u0430\u0446\u0438\u0438, \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u0430\u043d\u0442\u0438\u0434\u043e\u043f\u0438\u043d\u0433 \u0438 \u0420\u0423\u0421\u0410\u0414\u0410, \u0441\u0446\u0435\u043d\u0430\u0440\u043d\u044b\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438.<\/p>\n

\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442: \u044f \u0441\u0442\u0440\u043e\u044e \u043b\u0438\u043d\u0435\u0439\u043a\u0443 \u0438\u0437 \u0432\u043e\u0441\u044c\u043c\u0438 \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 LLM \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u041e\u041e\u041e \u041b\u0418\u0418. \u041f\u0435\u0440\u0432\u0430\u044f \u0432 \u043b\u0438\u043d\u0435\u0439\u043a\u0435 \u2014 \u041b\u0418\u0418-\u0421\u043f\u043e\u0440\u0442-Gemma-4-31B-Preview, \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u043b\u0438\u0437 15 \u0438\u044e\u043d\u044f. \u041f\u0435\u0440\u0435\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. \u0412 \u0430\u043f\u0440\u0435\u043b\u0435 \u0432\u044b\u0431\u0440\u0430\u043b Qwen 3.6 27B \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0431\u0449\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 (SWE-bench 77.2, MMLU-Pro). \u0412 \u043c\u0430\u0435 \u043e\u0442\u043a\u0440\u044b\u043b\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441 \u2014 \u0430 \u043f\u0440\u0430\u0432\u0434\u0430 \u043b\u0438 Qwen 3.6 \u043b\u0443\u0447\u0448\u0435 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0434\u043e\u043c\u0435\u043d\u0430?<\/p>\n

\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b \u043f\u0438\u043b\u043e\u0442 \u043d\u0430 \u0434\u0432\u0443\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430\u0445 \u2014 Gemma 4 31B vs Qwen 3.6 27B. Gemma \u0432\u044b\u0438\u0433\u0440\u0430\u043b\u0430 7.45 vs 6.67 \u043d\u0430 \u044d\u0442\u043e\u043c \u0441\u0440\u0435\u0437\u0435. \u0417\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u2014 Gemma.<\/p>\n

\u041d\u043e \u0447\u0435\u0440\u0435\u0437 \u0441\u0443\u0442\u043a\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u0430 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 frontier-\u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0440\u0432\u0443\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u0441\u0435\u0445? \u0421\u0442\u043e\u0438\u0442 \u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 open-weights?<\/strong> \u042d\u0442\u043e \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u2014 \u0435\u0441\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u0430\u044f 31B-\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u043e\u0439 \u0432 1.5-2 \u0431\u0430\u043b\u043b\u0430, \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0439 \u0444\u0430\u043d\u0442\u044e\u043d \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0434\u043e\u0433\u043d\u0430\u0442\u044c. \u0418 \u0432\u0441\u044f \u0441\u0442\u0430\u0432\u043a\u0430 \u041b\u0418\u0418 \u2014 \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u0441\u0430 \u2014 \u043d\u0443\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0438.<\/p>\n

\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u043b \u043f\u0438\u043b\u043e\u0442: \u0434\u043e\u0431\u0430\u0432\u0438\u043b Qwen 3.5 27B \u043a\u0430\u043a \u043b\u0438\u043d\u0435\u0439\u043a\u0443 EduLLM-RU (\u043f\u0438\u0441\u0430\u043b \u043e\u0431 \u044d\u0442\u043e\u043c \u0440\u0430\u043d\u0435\u0435), DeepSeek V4 Flash \u043a\u0430\u043a open-weights frontier, \u0438 GPT-5.5 + Claude Opus 4.7 + Gemini 3.1 Pro Preview \u043a\u0430\u043a closed-weights frontier \u044d\u0442\u0430\u043b\u043e\u043d\u044b. \u0421\u0435\u043c\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u00d7 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0438\u0437 \u0442\u0440\u0451\u0445 \u0441\u0443\u0434\u0435\u0439 \u00d7 200 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u2014 $150 \u043d\u0430 OpenRouter.<\/p>\n

\u0422\u043e, \u0447\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0431\u044b\u043b\u043e \u0432\u0430\u0436\u043d\u0435\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043e \u0432\u044b\u0431\u043e\u0440\u0435 \u0431\u0430\u0437\u044b. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n

2. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u0435\u0449\u0451 \u043d\u0435 \u0431\u044b\u043b\u043e<\/h4>\n

\u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 LLM-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043f\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u043c\u0443 \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u0434\u043e\u043c\u0435\u043d\u0443 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442. \u042f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b:<\/p>\n

\u2192 SportQA<\/strong> \u2014 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a NAACL 2024, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c. \u2192 MERA<\/strong> \u043e\u0442 AIRI \u0438 Sber \u2014 \u043e\u0431\u0449\u0438\u0439 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439, \u043d\u0435 \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0439. 23 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e \u043e\u0431\u0449\u0435\u043c\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044e. \u2192 RuMedBench<\/strong> \u2014 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0439 (5 \u0437\u0430\u0434\u0430\u0447), \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 2022, \u0441\u043f\u043e\u0440\u0442 \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442. \u2192 EduBench-RU<\/strong> (\u043d\u0430\u0448 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439) \u2014 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u043d\u0435 \u0441\u043f\u043e\u0440\u0442. \u2192 LawBench-RU<\/strong> \u2014 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0438 \u0432 \u043a\u0430\u043a\u043e\u043c \u0432\u0438\u0434\u0435.<\/p>\n

\u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0438 \u00ab\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a\u00bb + \u00ab\u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u043e\u043c\u0435\u043d\u00bb + \u00ab\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u00bb \u2014 \u043f\u0443\u0441\u0442\u043e\u0442\u0430. \u042d\u0442\u043e \u0438 \u0431\u044b\u043b\u043e \u043c\u0435\u0441\u0442\u043e \u0434\u043b\u044f v0.1.<\/p>\n

3. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430<\/h4>\n

655 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/strong> \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u044b \u043f\u043e \u0442\u0440\u0451\u043c \u0443\u0440\u043e\u0432\u043d\u044f\u043c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438:<\/p>\n

\u2192 Tier 1:<\/strong> 8 \u0432\u0438\u0434\u043e\u0432 \u0441\u043f\u043e\u0440\u0442\u0430 \u00d7 50 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 = 400. \u0421\u0430\u043c\u044b\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u044b \u0432 \u0420\u0424. \u2192 Tier 2:<\/strong> 4 \u0433\u0440\u0443\u043f\u043f\u044b (\u0435\u0434\u0438\u043d\u043e\u0431\u043e\u0440\u0441\u0442\u0432\u0430, \u0437\u0438\u043c\u043d\u0438\u0435 \u0432\u0438\u0434\u044b, \u0441\u0438\u043b\u043e\u0432\u044b\u0435, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u043d\u044b\u0435) \u00d7 45 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 = 180. \u2192 Tier 3:<\/strong> 3 \u0431\u0430\u0442\u0447\u0430 \u00d7 25 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 = 75 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0441\u043e \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u043e\u0439 (\u0431\u0430\u0434\u043c\u0438\u043d\u0442\u043e\u043d, \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043d\u043d\u0438\u0441, \u0432\u0435\u043b\u043e\u0441\u043f\u043e\u0440\u0442, \u043b\u044b\u0436\u0438, \u0444\u0435\u0445\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0434\u0440.).<\/p>\n

8 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043d\u0430 Tier-1 \u0432\u0438\u0434\u0435 \u0441\u043f\u043e\u0440\u0442\u0430:<\/strong><\/p>\n

    \n
  1. \n

    \u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438 \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442 (8 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432)<\/p>\n<\/li>\n

  2. \n

    \u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u043a (8)<\/p>\n<\/li>\n

  3. \n

    \u0411\u0438\u043e\u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 (6)<\/p>\n<\/li>\n

  4. \n

    \u041f\u0441\u0438\u0445\u043e\u043b\u043e\u0433\u0438\u044f (6)<\/p>\n<\/li>\n

  5. \n

    \u0420\u0435\u0433\u0443\u043b\u044f\u0442\u043e\u0440\u0438\u043a\u0430 \u0438 \u0444\u0435\u0434\u0435\u0440\u0430\u0446\u0438\u0438 (6)<\/p>\n<\/li>\n

  6. \n

    \u0418\u0441\u0442\u043e\u0440\u0438\u044f (5)<\/p>\n<\/li>\n

  7. \n

    \u0410\u043d\u0442\u0438\u0434\u043e\u043f\u0438\u043d\u0433 \u0420\u0423\u0421\u0410\u0414\u0410 (6)<\/p>\n<\/li>\n

  8. \n

    \u0421\u0446\u0435\u043d\u0430\u0440\u043d\u044b\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 (5)<\/p>\n<\/li>\n<\/ol>\n

    \u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0438\u043c\u0435\u0435\u0442:<\/strong><\/p>\n

    \u2192 \u041c\u0435\u0442\u043a\u0443 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438 ([\u0424\u0423\u041d\u041a\u0426\u0418\u041e\u041d\u0415\u0420]<\/code> \/ [\u0422\u0420\u0415\u041d\u0415\u0420]<\/code> \/ [\u0421\u041f\u041e\u0420\u0422\u0421\u041c\u0415\u041d]<\/code> \/ [\u041c\u0415\u0414\u0418\u041a]<\/code> \/ [\u0410\u041d\u0410\u041b\u0418\u0422\u0418\u041a]<\/code> \/ [\u0421\u0428\u041e\u0420]<\/code> \/ [\u0412\u0423\u0417]<\/code>) \u2192 \u041c\u0435\u0442\u043a\u0443 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 ([Basic]<\/code> \/ [Applied]<\/code> \/ [Expert]<\/code>) \u2192 \u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0435\u0442\u043a\u0443 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 ([MCQ]<\/code> \u0434\u043b\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430) \u2192 \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0441\u043e \u0441\u0441\u044b\u043b\u043a\u043e\u0439 \u043d\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a (\u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0424\u0418\u0411\u0410 29.1.2, \u043f\u0440\u0438\u043a\u0430\u0437 \u041c\u0438\u043d\u0441\u043f\u043e\u0440\u0442\u0430 \u21161006, \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442 \u0420\u0424\u0411 \u0438 \u0442.\u0434.) \u2192 \u0420\u0443\u0431\u0440\u0438\u043a\u0443 \u043e\u0446\u0435\u043d\u043a\u0438 (\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438: \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u043d\u043e\u0442\u0430, \u0431\u043e\u043d\u0443\u0441\u044b)<\/p>\n

    \u0424\u043e\u0440\u043c\u0430\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430:<\/p>\n

    **\u0411\u0410\u0421-\u041f\u0420-001** `[\u0424\u0423\u041d\u041a\u0426\u0418\u041e\u041d\u0415\u0420]` `[Basic]` `[MCQ]`> \u0412\u043e\u043f\u0440\u043e\u0441: \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c \u0424\u0418\u0411\u0410 (\u0440\u0435\u0434\u0430\u043a\u0446\u0438\u044f 2022), \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u043a\u0443\u043d\u0434 \u043e\u0442\u0432\u043e\u0434\u0438\u0442\u0441\u044f...> \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: 24 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430 \u0430\u0442\u0430\u043a\u0443 \u0432 \u0446\u0435\u043b\u043e\u043c. \u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0434\u0431\u043e\u0440\u0430...> \u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043e\u0446\u0435\u043d\u043a\u0438:> - \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c: \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u0446\u0438\u0444\u0440\u0430 24 \u0441\u0435\u043a + \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 14 \u0441\u0435\u043a...> - \u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a: \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435 \u0424\u0418\u0411\u0410 \u0438\u043b\u0438 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0430\u0432\u0438\u043b> - \u041e\u0448\u0438\u0431\u043a\u0430: \u043b\u044e\u0431\u0430\u044f \u0434\u0440\u0443\u0433\u0430\u044f \u0446\u0438\u0444\u0440\u0430 = 0 \u0431\u0430\u043b\u043b\u043e\u0432<\/code>
    <\/a><\/div><\/pre>\n
    \u041f\u0430\u0440\u0441\u0435\u0440 \u043d\u0430 Bun TypeScript \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0441\u0451 \u044d\u0442\u043e \u0432 JSON, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0432 data\/questions.json<\/code>. \u0420\u0435\u0433\u0443\u043b\u044f\u0440\u043a\u0430 \u043f\u043e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0443 **ID** \\<\/code>[TAG1]` \u2026` + \u043a\u0440\u043e\u0441\u0441-\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430. 655 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u0430\u0440\u0441\u044f\u0442\u0441\u044f \u0437\u0430 ~150 \u043c\u0441.<\/p>\n
    4. \u0421\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430<\/h4>\n
    \u0414\u043b\u044f \u043f\u0438\u043b\u043e\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043c\u0435\u043d\u044c\u0448\u0435 655 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u2014 \u0438\u043d\u0430\u0447\u0435 \u043d\u0430 \u0434\u0432\u0443\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430\u0445 \u0441\u043e \u0448\u0442\u0440\u0430\u0444\u043e\u043c \u0437\u0430 reasoning-\u0442\u043e\u043a\u0435\u043d\u044b \u043f\u0440\u043e\u0433\u043e\u043d \u0441\u0442\u043e\u0438\u043b \u0431\u044b \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435. \u0420\u0435\u0448\u0435\u043d\u0438\u0435: \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043d\u0430 200 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/strong>, \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043f\u043e \u0442\u0438\u0440\u0430\u043c \u0438 \u0432\u0438\u0434\u0430\u043c \u0441\u043f\u043e\u0440\u0442\u0430.<\/p>\n
    \u041b\u043e\u0433\u0438\u043a\u0430 sample.ts:<\/p>\n
    \/\/ \u0413\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u043f\u043e (tier, sport_file)\/\/ \u041d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0433\u0440\u0443\u043f\u043f\u0443: round(200 * group_size \/ 655)\/\/ \u0412\u043d\u0443\u0442\u0440\u0438 \u0433\u0440\u0443\u043f\u043f\u044b: \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e SHA256(seed + question_id)\/\/ \u2192 \u0431\u0435\u0440\u0451\u043c \u043f\u0435\u0440\u0432\u044b\u0435 N \u0438\u0437 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430const SEED = \"lii-2026-05-13\";function deterministic_sort(questions: Question[]) {  return [...questions].sort((a, b) =>     hash(SEED + \":\" + a.id) - hash(SEED + \":\" + b.id)  );}<\/code>
    <\/a><\/div><\/pre>\n
    \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c: \u2192 Tier 1: 120 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 (8 \u0432\u0438\u0434\u043e\u0432 \u00d7 15) \u2192 Tier 2: 56 (4 \u0433\u0440\u0443\u043f\u043f\u044b \u00d7 14) \u2192 Tier 3: 24 (3 \u0431\u0430\u0442\u0447\u0430 \u00d7 8) \u2192 \u041f\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438: 57 Basic \/ 107 Applied \/ 36 Expert<\/p>\n
    \u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e.<\/strong> \u041b\u044e\u0431\u043e\u0439 \u043a\u043b\u043e\u043d\u0438\u0440\u0443\u0435\u0442 \u0440\u0435\u043f\u043e, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 bun src\/sample.ts<\/code> \u2192 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0442\u0435 \u0436\u0435 200 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n
    5. Top-3 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0441\u0443\u0434\u0435\u0439<\/h4>\n
    \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0438\u0437\u0430\u0439\u043d \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u043b \u043e\u0434\u043d\u043e\u0433\u043e LLM-\u0441\u0443\u0434\u044c\u044e \u2014 Gemini 3.1 Pro. \u041d\u043e \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e \u0432\u044b\u0431\u043e\u0440\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 7 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u044d\u0442\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043d\u0434\u043e\u0440\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u2014 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0441\u044c \u043a \u0438\u0437\u043b\u044e\u0431\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0438\u0437 \u0442\u0440\u0451\u0445 \u0441\u0443\u0434\u0435\u0439:<\/strong><\/p>\n
    \u2192 Gemini 3.1 Pro Preview<\/strong> (google\/gemini-3.1-pro-preview<\/code>) \u2014 $2\/M \u0432\u0445\u043e\u0434, $12\/M \u0432\u044b\u0445\u043e\u0434 \u2192 GPT-5.5<\/strong> (openai\/gpt-5.5<\/code>) \u2014 $5\/M \u0432\u0445\u043e\u0434, $30\/M \u0432\u044b\u0445\u043e\u0434 \u2192 Claude Opus 4.7<\/strong> (anthropic\/claude-opus-4.7<\/code>) \u2014 $5\/M \u0432\u0445\u043e\u0434, $25\/M \u0432\u044b\u0445\u043e\u0434<\/p>\n
    \u0412\u0441\u0435 \u0442\u0440\u0438 \u0447\u0435\u0440\u0435\u0437 OpenRouter, \u0447\u0442\u043e\u0431\u044b \u043e\u0434\u0438\u043d SDK + \u043e\u0434\u0438\u043d \u043a\u043b\u044e\u0447 + \u0435\u0434\u0438\u043d\u044b\u0439 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b. \u042f \u043d\u0435 \u043b\u044e\u0431\u043b\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 SDK \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a\u0430 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430 — \u043d\u0438\u0432\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0438\u0441\u043a\u043e\u043d\u0442 \u0441 \u043f\u0440\u044f\u043c\u043e\u0439 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438.<\/p>\n
    \u0420\u0443\u0431\u0440\u0438\u043a\u0430 \u0441\u0443\u0434\u044c\u0438 \u2014 4 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f, \u043a\u0430\u0436\u0434\u043e\u0435 0-10 \u0431\u0430\u043b\u043b\u043e\u0432:<\/strong><\/p>\n
      \n
    1. \n
      \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c (accuracy)<\/strong> \u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c<\/p>\n<\/li>\n
    2. \n
      \u041f\u043e\u043b\u043d\u043e\u0442\u0430 (completeness)<\/strong> \u2014 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0443\u0431\u0440\u0438\u043a\u0438<\/p>\n<\/li>\n
    3. \n
      \u0411\u043e\u043d\u0443\u0441 (bonus)<\/strong> \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430, \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438, \u043d\u044e\u0430\u043d\u0441\u044b \u0437\u0430 \u0440\u0430\u043c\u043a\u0430\u043c\u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u0430<\/p>\n<\/li>\n
    4. \n
      \u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a (ru_linguistic)<\/strong> \u2014 \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u043e\u0441\u0442\u044c, \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043a\u0430\u043b\u0435\u043a \u0441 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e<\/p>\n<\/li>\n<\/ol>\n
      \u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0441\u0443\u0434\u044c\u0438 \u0437\u0430\u0434\u0430\u0451\u0442 \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430: \u043d\u0435 \u043d\u0430\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u0430 \u043a\u0440\u0430\u0442\u043a\u043e\u0441\u0442\u044c \u0435\u0441\u043b\u0438 \u0441\u0443\u0442\u044c \u043f\u043e\u043a\u0440\u044b\u0442\u0430, \u043d\u0435 \u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0430\u0442\u044c \u043e\u0431\u044a\u0451\u043c\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0434\u0438 \u043e\u0431\u044a\u0451\u043c\u043d\u043e\u0441\u0442\u0438, \u043e\u0442\u043a\u0430\u0437\u044b (\u042f \u043d\u0435 \u0437\u043d\u0430\u044e<\/code>) = accuracy \u2264 2, \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043d\u0435\u0440\u0443\u0441\u0441\u043a\u043e\u043c = ru_linguistic = 0, \u0432\u043e\u0437\u0432\u0440\u0430\u0442 \u0441\u0442\u0440\u043e\u0433\u043e JSON \u0431\u0435\u0437 markdown-\u043e\u0431\u0451\u0440\u0442\u043e\u043a.<\/p>\n
      Per-question \u043e\u0446\u0435\u043d\u043a\u0430<\/strong> = \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0442\u0440\u0451\u043c \u0441\u0443\u0434\u044c\u044f\u043c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e. Overall<\/strong> = \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e 4 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c.<\/p>\n
      6. \u041f\u0440\u043e\u0433\u043e\u043d \u2014 \u0441\u0435\u043c\u044c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432<\/h4>\n
      Open-weights \u043f\u043e\u0434 \u043d\u0430\u0448\u0443 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u043e\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0438 frontier-closed \u043a\u0430\u043a \u044d\u0442\u0430\u043b\u043e\u043d\u044b:<\/p>\n
      \n
      \n\n\n\n\n\n\n\n\n\n\n
      \n
      \u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n
      		\n
      OpenRouter ID<\/p>\n<\/th>\n
      		\n
      \u0412\u0435\u0441\u0430<\/p>\n<\/th>\n
      		\n
      \u0426\u0435\u043d\u0430 \u0432\u0445\u043e\u0434 \/ \u0432\u044b\u0445\u043e\u0434 (USD\/M)<\/p>\n<\/th>\n
      		\n
      \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/p>\n<\/th>\n<\/tr>\n
      \n
      Gemma 4 31B Instruct<\/strong><\/p>\n<\/td>\n
      		\n
      google\/gemma-4-31b-it<\/code><\/p>\n<\/td>\n
      		\n
      Gemma TOS<\/p>\n<\/td>\n
      		\n
      $0.12 \/ $0.37<\/p>\n<\/td>\n
      		\n
      dense 31B<\/p>\n<\/td>\n<\/tr>\n
      \n
      Qwen 3.6 27B Instruct<\/strong><\/p>\n<\/td>\n
      		\n
      qwen\/qwen3.6-27b<\/code><\/p>\n<\/td>\n
      		\n
      Apache 2.0<\/p>\n<\/td>\n
      		\n
      $0.32 \/ $3.20<\/p>\n<\/td>\n
      		\n
      dense 27B + reasoning<\/p>\n<\/td>\n<\/tr>\n
      \n
      Qwen 3.5 27B<\/strong><\/p>\n<\/td>\n
      		\n
      qwen\/qwen3.5-27b<\/code><\/p>\n<\/td>\n
      		\n
      Apache 2.0<\/p>\n<\/td>\n
      		\n
      $0.20 \/ $1.20<\/p>\n<\/td>\n
      		\n
      dense 27B + reasoning<\/p>\n<\/td>\n<\/tr>\n
      \n
      DeepSeek V4 Flash<\/strong><\/p>\n<\/td>\n
      		\n
      deepseek\/deepseek-v4-flash<\/code><\/p>\n<\/td>\n
      		\n
      MIT<\/p>\n<\/td>\n
      		\n
      $0.40 \/ $1.20<\/p>\n<\/td>\n
      		\n
      MoE 284B\/13B-active<\/p>\n<\/td>\n<\/tr>\n
      \n
      GPT-5.5<\/strong><\/p>\n<\/td>\n
      		\n
      openai\/gpt-5.5<\/code><\/p>\n<\/td>\n
      		\n
      closed<\/p>\n<\/td>\n
      		\n
      $5 \/ $30<\/p>\n<\/td>\n
      		\n
      reasoning-by-default<\/p>\n<\/td>\n<\/tr>\n
      \n
      Claude Opus 4.7<\/strong><\/p>\n<\/td>\n
      		\n
      anthropic\/claude-opus-4.7<\/code><\/p>\n<\/td>\n
      		\n
      closed<\/p>\n<\/td>\n
      		\n
      $5 \/ $25<\/p>\n<\/td>\n
      		\n
      hybrid reasoning<\/p>\n<\/td>\n<\/tr>\n
      \n
      Gemini 3.1 Pro Preview<\/strong><\/p>\n<\/td>\n
      		\n
      google\/gemini-3.1-pro-preview<\/code><\/p>\n<\/td>\n
      		\n
      closed<\/p>\n<\/td>\n
      		\n
      $2 \/ $12<\/p>\n<\/td>\n
      		\n
      reasoning-by-default<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
      \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430:<\/p>\n
      const payload = {  model: MODEL,  messages: [    { role: \"system\", content: SYS_PROMPT },    { role: \"user\", content: q.question },  ],  max_tokens: 2048,  temperature: 0,  seed: hash32(SEED + \":\" + q.id),  provider: { sort: \"price\" },};<\/code>
      <\/a><\/div><\/pre>\n
      temperature: 0<\/code> \u0434\u043b\u044f \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438. provider.sort: \"price\"<\/code> \u2014 OpenRouter \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0435\u0448\u0451\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u044b\u0437\u043e\u0432\u0430. seed<\/code> \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 (\u0433\u0434\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442).<\/p>\n
      \u0414\u043b\u044f reasoning-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 (Qwen 3.5\/3.6, GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7) \u0431\u044e\u0434\u0436\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u043b \u0434\u043e 8000 \u2014 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 2048 \u0441\u0433\u043e\u0440\u0430\u0435\u0442 \u043d\u0430 reasoning \u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u043c. \u042d\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f DeepSeek V4 Flash \u0438 Qwen 3.x \u2014 \u0431\u0435\u0437 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043f\u0443\u0441\u0442\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u043e\u0434\u0441\u043a\u0430\u043a\u0438\u0432\u0430\u0435\u0442 \u0434\u043e 15-40%.<\/p>\n
      \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0434\u043b\u044f \u0441\u0435\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: ~$45.<\/p>\n
      7. \u0411\u0430\u0433\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0439\u043c\u0430\u043b\u0438 \u0432 \u0436\u0438\u0432\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435<\/h4>\n
      \u041d\u0435 \u0432\u0441\u0451 \u043f\u0440\u043e\u0448\u043b\u043e \u0433\u043b\u0430\u0434\u043a\u043e. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0447\u0435\u0441\u0442\u043d\u043e \u2014 \u043c\u043e\u0436\u0435\u0442, \u043a\u043e\u043c\u0443-\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442.<\/p>\n
      \u0411\u0430\u0433 #1 \u2014 \u041a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430 \u0432 HTTP-\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u0445.<\/strong><\/p>\n
      \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b X-Title: \u041b\u0418\u0418-\u0421\u043f\u043e\u0440\u0442-Bench-RU v0.1<\/code> (\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 OpenRouter \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0434\u043b\u044f \u0442\u0440\u0435\u043a\u0438\u043d\u0433\u0430). \u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u2014 400 \u0438\u0437 400 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 TypeError: Header 'X-Title' has invalid value<\/code>. \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 HTTP \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c ASCII. \u0417\u0430\u043c\u0435\u043d\u0438\u043b \u043d\u0430 LII-Sport-Bench-RU v0.1<\/code>. \u0422\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430, \u043d\u043e \u043d\u0435 \u043f\u043e\u0434\u0443\u043c\u0430\u043b — \u043f\u043e\u043b\u0447\u0430\u0441\u0430 \u043f\u043e\u0442\u0435\u0440\u044f\u043b.<\/p>\n
      \u0411\u0430\u0433 #2 \u2014 Qwen 3.6 27B reasoning truncation.<\/strong><\/p>\n
      \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043b Qwen 3.6 27B \u0441 max_tokens: 2048<\/code> (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e). 77 \u0438\u0437 200 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0432\u0435\u0440\u043d\u0443\u043b\u0438\u0441\u044c \u043f\u0443\u0441\u0442\u044b\u043c\u0438 \u2014 empty response<\/code>. 38.5% \u0432\u043f\u0443\u0441\u0442\u0443\u044e.<\/p>\n
      \u041f\u0440\u0438\u0447\u0438\u043d\u0430: Qwen 3.6 \u2014 reasoning-\u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u0435\u0440\u0435\u0434 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0444\u0430\u0437\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439. \u041f\u0440\u0438 max_tokens: 2048<\/code> \u0431\u044e\u0434\u0436\u0435\u0442 \u0441\u0433\u043e\u0440\u0430\u0435\u0442 \u043d\u0430 reasoning \u0438 \u0434\u043e content \u043c\u0435\u0442\u043a\u0438 \u043d\u0435 \u0434\u043e\u0445\u043e\u0434\u0438\u0442. \u0412\u0438\u0434\u043d\u043e \u043f\u043e \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u2014 \u0432\u0441\u0435 \u043e\u043d\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0435 2048 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 1928, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c 2048 \u0440\u043e\u0432\u043d\u043e).<\/p>\n
      \u0424\u0438\u043a\u0441: MAX_TOKENS=8000<\/code> \u0434\u043b\u044f Qwen. \u0411\u044e\u0434\u0436\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u044b\u0440\u043e\u0441 \u0432 4 \u0440\u0430\u0437\u0430, \u0446\u0435\u043d\u0430 \u0442\u043e\u0436\u0435 \u2014 \u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0441\u043e\u043a\u0438\u043c. \u0412\u0441\u0435 77 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0443\u0441\u043f\u0435\u0448\u043d\u044b.<\/p>\n
      \u0411\u0430\u0433 #3 \u2014 Gemini 3.1 Pro Preview reasoning truncation \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0441\u0443\u0434\u044c\u0438.<\/strong><\/p>\n
      \u0422\u043e\u0442 \u0436\u0435 \u0441\u044e\u0436\u0435\u0442, \u043d\u043e \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u0441\u0443\u0434\u044c\u0438. \u0421 max_tokens: 800<\/code> Gemini \u0432\u044b\u0434\u0430\u0432\u0430\u043b \u043e\u0431\u0440\u0435\u0437\u0430\u043d\u043d\u044b\u0439 JSON: {\"accuracy\": 10, \"completeness\":<\/code> \u2014 \u043a\u043e\u043d\u0435\u0446 \u0432\u044b\u0432\u043e\u0434\u0430. 200 \u0438\u0437 200 Gemma-\u0441\u0443\u0434\u0435\u0439\u0441\u0442\u0432 \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u043b\u0438\u0441\u044c \u043f\u043e \u044d\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435.<\/p>\n
      \u0424\u0438\u043a\u0441 \u2014 \u0434\u0432\u0430 \u0448\u0430\u0433\u0430:<\/p>\n
        \n
      1. \n
        \u041f\u043e\u0434\u043d\u044f\u043b max_tokens<\/code> \u0434\u043e 4000 \u0434\u043b\u044f \u0441\u0443\u0434\u0435\u0439.<\/p>\n<\/li>\n
      2. \n
        \u0414\u043e\u0431\u0430\u0432\u0438\u043b reasoning: { effort: \"low\" }<\/code> \u0432 \u0442\u0435\u043b\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430. OpenRouter \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u044d\u0442\u043e \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0443 \u2014 \u0434\u043b\u044f Gemini \u044d\u0442\u043e \u0440\u0435\u0436\u0438\u043c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e reasoning. \u0426\u0435\u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u044b\u0437\u043e\u0432\u0430 \u0441\u0443\u0434\u044c\u0438 \u0443\u043f\u0430\u043b\u0430 \u0441 $0.05 (4K reasoning \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u00d7 $12\/M) \u0434\u043e $0.007 \u2014 \u0432 \u0441\u0435\u043c\u044c \u0440\u0430\u0437 \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c JSON-\u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u043a 100%.<\/p>\n<\/li>\n<\/ol>\n
        \u0423\u0440\u043e\u043a \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439:<\/strong> reasoning-\u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043b\u0438\u0431\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043b\u0438\u0431\u043e \u044f\u0432\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f reasoning \u0447\u0435\u0440\u0435\u0437 effort: \"low\"<\/code> \/ exclude: true<\/code>. \u042d\u0442\u043e\u0433\u043e \u043d\u0435 \u043d\u0430\u0448\u0435\u043b \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 per-vendor \u2014 \u0443\u0437\u043d\u0430\u043b \u043d\u0430 \u0436\u0438\u0432\u043e\u043c \u043f\u0440\u043e\u0434\u0435, \u043f\u043e\u0442\u0435\u0440\u044f\u043b \u0434\u0435\u043d\u044c\u0433\u0438 \u0441\u043d\u043e\u0432\u0430.<\/p>\n
        (\u0417\u0430\u043c\u0435\u0442\u043a\u0430 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435: \u043f\u0435\u0440\u0432\u044b\u0435 400 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 OpenRouter \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u0440\u0438\u0433\u0433\u0435\u0440\u0438\u0442\u044c rate-limit \u043d\u0430 \u0447\u0430\u0441-\u0434\u0432\u0430. \u041f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f X-Title \u043f\u0435\u0440\u0432\u044b\u0439 retry \u0443\u043f\u0438\u0440\u0430\u043b\u0441\u044f \u0432 \u0442\u0440\u043e\u0442\u0442\u043b\u0438\u043d\u0433 \u043e\u0442 Cloudflare. \u041f\u043e\u0434\u043e\u0436\u0434\u0430\u043b ~30 \u043c\u0438\u043d\u0443\u0442 \u2014 \u0441\u0430\u043c\u043e \u043e\u0442\u043f\u0443\u0441\u0442\u0438\u043b\u043e. \u041d\u0435 \u043f\u0438\u0448\u0438\u0442\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0432 \u0447\u0430\u0441 \u043f\u0438\u043a.)<\/p>\n
        8. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h4>\n
        \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043b \u0430\u0433\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440. Per-question \u043e\u0446\u0435\u043d\u043a\u0430 = \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0442\u0440\u0451\u043c \u0441\u0443\u0434\u044c\u044f\u043c. Per-bucket \u043e\u0446\u0435\u043d\u043a\u0430 = \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c \u0432 bucket. \u041e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u0434\u043e \u0441\u043e\u0442\u044b\u0445.<\/p>\n
        \u0418\u0442\u043e\u0433\u0438 (\u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e 200 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c, \u043f\u043e 4 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c):<\/strong><\/p>\n
        \n
        \n\n\n\n\n\n\n\n\n\n\n
        \n
        \u0420\u0430\u043d\u0433<\/p>\n<\/th>\n
        		\n
        \u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n
        		\n
        \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n
        		\n
        \u041f\u043e\u043b\u043d\u043e\u0442\u0430<\/p>\n<\/th>\n
        		\n
        \u0411\u043e\u043d\u0443\u0441<\/p>\n<\/th>\n
        		\n
        RU<\/p>\n<\/th>\n
        		\n
        Overall<\/strong><\/p>\n<\/th>\n<\/tr>\n
        \n
        1<\/p>\n<\/td>\n
        		\n
        Claude Opus 4.7<\/p>\n<\/td>\n
        		\n
        8.67<\/p>\n<\/td>\n
        		\n
        9.16<\/p>\n<\/td>\n
        		\n
        8.92<\/p>\n<\/td>\n
        		\n
        9.65<\/p>\n<\/td>\n
        		\n
        9.10<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        2<\/p>\n<\/td>\n
        		\n
        Gemini 3.1 Pro Preview<\/p>\n<\/td>\n
        		\n
        8.58<\/p>\n<\/td>\n
        		\n
        8.72<\/p>\n<\/td>\n
        		\n
        8.49<\/p>\n<\/td>\n
        		\n
        9.74<\/p>\n<\/td>\n
        		\n
        8.88<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        3<\/p>\n<\/td>\n
        		\n
        GPT-5.5<\/p>\n<\/td>\n
        		\n
        8.54<\/p>\n<\/td>\n
        		\n
        8.35<\/p>\n<\/td>\n
        		\n
        7.55<\/p>\n<\/td>\n
        		\n
        9.68<\/p>\n<\/td>\n
        		\n
        8.53<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        4<\/p>\n<\/td>\n
        		\n
        DeepSeek V4 Flash<\/p>\n<\/td>\n
        		\n
        7.75<\/p>\n<\/td>\n
        		\n
        8.06<\/p>\n<\/td>\n
        		\n
        7.28<\/p>\n<\/td>\n
        		\n
        9.05<\/p>\n<\/td>\n
        		\n
        8.03<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        5<\/p>\n<\/td>\n
        		\n
        Qwen 3.5 27B<\/p>\n<\/td>\n
        		\n
        7.07<\/p>\n<\/td>\n
        		\n
        7.46<\/p>\n<\/td>\n
        		\n
        6.53<\/p>\n<\/td>\n
        		\n
        9.03<\/p>\n<\/td>\n
        		\n
        7.52<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        6<\/strong><\/p>\n<\/td>\n
        		\n
        Gemma 4 31B Instruct<\/strong> \u2190 \u0431\u0430\u0437\u0430 \u041b\u0418\u0418<\/p>\n<\/td>\n
        		\n
        7.30<\/p>\n<\/td>\n
        		\n
        7.39<\/p>\n<\/td>\n
        		\n
        6.14<\/p>\n<\/td>\n
        		\n
        8.98<\/p>\n<\/td>\n
        		\n
        7.45<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        7<\/p>\n<\/td>\n
        		\n
        Qwen 3.6 27B<\/p>\n<\/td>\n
        		\n
        6.21<\/p>\n<\/td>\n
        		\n
        6.31<\/p>\n<\/td>\n
        		\n
        5.76<\/p>\n<\/td>\n
        		\n
        8.42<\/p>\n<\/td>\n
        		\n
        6.67<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
        Frontier-closed (Opus \/ Gemini \/ GPT) \u2014 \u0442\u043e\u043f-3 \u0441\u043e \u0441\u0447\u0451\u0442\u043e\u043c 8.53-9.10. Open-weights (DeepSeek \/ Qwen 3.5 \/ Gemma \/ Qwen 3.6) \u2014 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d 6.67-8.03. \u041c\u0435\u0436\u0434\u0443 open-frontier (DeepSeek V4 Flash 8.03) \u0438 \u043d\u0430\u0448\u0435\u0439 \u0431\u0430\u0437\u043e\u0439 (Gemma 7.45) \u2014 0.58 \u0431\u0430\u043b\u043b\u0430. \u041c\u0435\u0436\u0434\u0443 closed-frontier (Opus 9.10) \u0438 Gemma \u2014 1.65 \u0431\u0430\u043b\u043b\u0430.<\/p>\n
        \u042d\u0442\u043e \u0441\u044b\u0440\u044b\u0435 \u0447\u0438\u0441\u043b\u0430. \u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u0438\u0449\u0435\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0440\u0430\u0437\u0440\u044b\u0432\u0430, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0436\u0438\u0432\u0451\u0442 \u0440\u0430\u0437\u0440\u044b\u0432, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d SFT-recoverable \u043f\u043e \u043c\u043e\u0435\u043c\u0443 \u043c\u043d\u0435\u043d\u0438\u044e.<\/p>\n
        8.1 \u0420\u0435\u0439\u0442\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438<\/h4>\n
        \n
        \n\n\n\n\n\n\n\n\n\n\n
        \n
        \u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n
        		\n
        Basic<\/p>\n<\/th>\n
        		\n
        Applied<\/p>\n<\/th>\n
        		\n
        Expert<\/p>\n<\/th>\n<\/tr>\n
        \n
        Claude Opus 4.7<\/p>\n<\/td>\n
        		\n
        8.91<\/p>\n<\/td>\n
        		\n
        9.18<\/p>\n<\/td>\n
        		\n
        9.17<\/p>\n<\/td>\n<\/tr>\n
        \n
        Gemini 3.1 Pro<\/p>\n<\/td>\n
        		\n
        8.56<\/p>\n<\/td>\n
        		\n
        8.98<\/p>\n<\/td>\n
        		\n
        9.10<\/p>\n<\/td>\n<\/tr>\n
        \n
        GPT-5.5<\/p>\n<\/td>\n
        		\n
        8.42<\/p>\n<\/td>\n
        		\n
        8.50<\/p>\n<\/td>\n
        		\n
        8.78<\/p>\n<\/td>\n<\/tr>\n
        \n
        DeepSeek V4 Flash<\/p>\n<\/td>\n
        		\n
        7.93<\/p>\n<\/td>\n
        		\n
        8.06<\/p>\n<\/td>\n
        		\n
        8.11<\/p>\n<\/td>\n<\/tr>\n
        \n
        Qwen 3.5 27B<\/p>\n<\/td>\n
        		\n
        7.18<\/p>\n<\/td>\n
        		\n
        7.53<\/p>\n<\/td>\n
        		\n
        8.04<\/p>\n<\/td>\n<\/tr>\n
        \n
        Gemma 4 31B<\/strong><\/p>\n<\/td>\n
        		\n
        7.20<\/p>\n<\/td>\n
        		\n
        7.48<\/p>\n<\/td>\n
        		\n
        7.79<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        Qwen 3.6 27B<\/p>\n<\/td>\n
        		\n
        6.73<\/p>\n<\/td>\n
        		\n
        6.71<\/p>\n<\/td>\n
        		\n
        6.49<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
        \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043f\u043e Gemma \u2014 \u0435\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0439\u0448\u0430\u044f \u0437\u043e\u043d\u0430 \u2014 Expert (7.79)<\/strong>, \u043d\u0435 Basic. \u042d\u0442\u043e \u043f\u0440\u043e \u043c\u043e\u0434\u0435\u043b\u044c, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0435\u0441\u0442\u044c, \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430 \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u042d\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0439 SFT.<\/p>\n
        Qwen 3.6 \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u043c (Basic > Expert): \u0441\u044b\u043f\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445. \u0423 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f DeepSeek \u0438 closed-frontier, \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0451\u0442 = \u0441\u0447\u0451\u0442 \u0440\u0430\u0441\u0442\u0451\u0442. \u042d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u043e\u0442\u0438\u0432 Qwen 3.6 \u0432 \u043b\u044e\u0431\u043e\u0439 \u0440\u043e\u043b\u0438 \u2014 \u043e\u043d \u0431\u044c\u0451\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0442\u043e\u0439 \u0437\u043e\u043d\u0435, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e (\u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043c\u043e\u0439 \u043f\u0440\u043e\u0448\u043b\u044b\u0439 \u043e\u043f\u044b\u0442 — \u0441\u043f\u0435\u0448\u0438\u0442\u044c \u0441 \u0432\u044b\u0432\u043e\u0434\u0430\u043c\u0438 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f, \u043d\u043e \u0446\u0438\u0444\u0440\u044b \u0435\u0441\u0442\u044c \u0446\u0438\u0444\u0440\u044b).<\/p>\n
        8.2 \u041f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c<\/h4>\n
        \n
        \n\n\n\n\n\n\n\n\n\n\n
        \n
        \u0410\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044f<\/p>\n<\/th>\n
        		\n
        Opus<\/p>\n<\/th>\n
        		\n
        Gemini<\/p>\n<\/th>\n
        		\n
        GPT-5.5<\/p>\n<\/th>\n
        		\n
        DeepSeek<\/p>\n<\/th>\n
        		\n
        Qwen 3.5<\/p>\n<\/th>\n
        		\n
        Gemma<\/strong><\/p>\n<\/th>\n
        		\n
        Qwen 3.6<\/p>\n<\/th>\n<\/tr>\n
        \n
        \u0424\u0423\u041d\u041a\u0426\u0418\u041e\u041d\u0415\u0420<\/p>\n<\/td>\n
        		\n
        8.87<\/p>\n<\/td>\n
        		\n
        8.66<\/p>\n<\/td>\n
        		\n
        8.37<\/p>\n<\/td>\n
        		\n
        7.85<\/p>\n<\/td>\n
        		\n
        7.05<\/p>\n<\/td>\n
        		\n
        7.23<\/p>\n<\/td>\n
        		\n
        6.52<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u041c\u0415\u0414\u0418\u041a<\/p>\n<\/td>\n
        		\n
        9.61<\/p>\n<\/td>\n
        		\n
        9.41<\/p>\n<\/td>\n
        		\n
        8.84<\/p>\n<\/td>\n
        		\n
        8.82<\/p>\n<\/td>\n
        		\n
        8.95<\/p>\n<\/td>\n
        		\n
        8.44<\/p>\n<\/td>\n
        		\n
        7.49<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u0421\u041f\u041e\u0420\u0422\u0421\u041c\u0415\u041d<\/p>\n<\/td>\n
        		\n
        9.59<\/p>\n<\/td>\n
        		\n
        9.27<\/p>\n<\/td>\n
        		\n
        9.23<\/p>\n<\/td>\n
        		\n
        8.46<\/p>\n<\/td>\n
        		\n
        8.67<\/p>\n<\/td>\n
        		\n
        8.46<\/p>\n<\/td>\n
        		\n
        7.88<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u0412\u0423\u0417<\/strong><\/p>\n<\/td>\n
        		\n
        9.59<\/p>\n<\/td>\n
        		\n
        9.23<\/p>\n<\/td>\n
        		\n
        9.20<\/p>\n<\/td>\n
        		\n
        8.23<\/p>\n<\/td>\n
        		\n
        7.13<\/p>\n<\/td>\n
        		\n
        6.65<\/strong><\/p>\n<\/td>\n
        		\n
        5.28<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u0421\u0428\u041e\u0420<\/strong><\/p>\n<\/td>\n
        		\n
        8.24<\/p>\n<\/td>\n
        		\n
        8.17<\/p>\n<\/td>\n
        		\n
        7.68<\/p>\n<\/td>\n
        		\n
        7.48<\/p>\n<\/td>\n
        		\n
        6.47<\/p>\n<\/td>\n
        		\n
        6.37<\/strong><\/p>\n<\/td>\n
        		\n
        5.73<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u0422\u0420\u0415\u041d\u0415\u0420<\/p>\n<\/td>\n
        		\n
        9.24<\/p>\n<\/td>\n
        		\n
        9.01<\/p>\n<\/td>\n
        		\n
        8.52<\/p>\n<\/td>\n
        		\n
        8.09<\/p>\n<\/td>\n
        		\n
        7.72<\/p>\n<\/td>\n
        		\n
        7.65<\/p>\n<\/td>\n
        		\n
        6.92<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u0410\u041d\u0410\u041b\u0418\u0422\u0418\u041a<\/p>\n<\/td>\n
        		\n
        9.13<\/p>\n<\/td>\n
        		\n
        8.88<\/p>\n<\/td>\n
        		\n
        9.12<\/p>\n<\/td>\n
        		\n
        6.50<\/p>\n<\/td>\n
        		\n
        6.73<\/p>\n<\/td>\n
        		\n
        7.13<\/strong><\/p>\n<\/td>\n
        		\n
        5.69<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
        Gemma \u043f\u0440\u043e\u0442\u0438\u0432 DeepSeek \u0432 \u0440\u0430\u0437\u0440\u0435\u0437\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u2014 \u044d\u0442\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e \u0431\u0430\u0437\u0435.<\/strong> \u0413\u0434\u0435 \u0443 Gemma \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e?<\/p>\n
        \u2192 \u0412\u0423\u0417:<\/strong> Gemma 6.65 vs DeepSeek 8.23 = \u22121.58. \u042d\u0442\u043e \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0433\u0438\u0441\u0442\u0440<\/strong> \u2014 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438 \u0443\u0440\u043e\u0432\u043d\u044f \u043c\u0435\u0442\u043e\u0434\u0438\u0447\u043a\u0438 \u0412\u0423\u0417\u0430, \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0446\u0438\u0442\u0430\u0446\u0438\u044f \u0424\u0413\u041e\u0421, \u043e\u0442\u0441\u044b\u043b\u043a\u0430 \u043a \u043d\u0430\u0443\u0447\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435. \u042d\u0442\u043e data-composition problem, \u0430 \u043d\u0435 \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c. \u2192 \u0421\u0428\u041e\u0420:<\/strong> Gemma 6.37 vs DeepSeek 7.48 = \u22121.11. \u0422\u043e\u0442 \u0436\u0435 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u0432\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d. \u2192 \u0424\u0423\u041d\u041a\u0426\u0418\u041e\u041d\u0415\u0420:<\/strong> Gemma 7.23 vs DeepSeek 7.85 = \u22120.62. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u044f\u0437\u044b\u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n
        \u0418 \u0433\u0434\u0435 Gemma \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 DeepSeek \u2014 \u0410\u041d\u0410\u041b\u0418\u0422\u0418\u041a<\/strong>: Gemma 7.13 vs DeepSeek 6.50 = +0.63<\/strong>. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0445 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0441 \u0447\u0438\u0441\u043b\u0430\u043c\u0438 \u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u2014 Gemma \u0443\u0436\u0435 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 open-weights \u0442\u043e\u043f\u0430.<\/p>\n
        \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e. \u0420\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b (\u0412\u0423\u0417, \u0421\u0428\u041e\u0420, \u0424\u0423\u041d\u041a\u0426\u0418\u041e\u041d\u0415\u0420) \u2014 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u043c SFT<\/strong> \u043d\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u0410 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u2014 \u0442\u043e, \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 SFT \u043d\u0430 \u0443\u0437\u043a\u043e\u043c \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0435. Gemma \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u043a SFT \u0443\u0436\u0435 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u043c \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u043c. \u042d\u0442\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f.<\/p>\n
        DeepSeek V4 Flash \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 SFT \u0441 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u043c \u2014 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0440\u0435\u0433\u0438\u0441\u0442\u0440 (\u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435), \u0441\u043b\u0430\u0431\u0430\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430. \u0414\u043e\u043c\u0435\u043d\u043d\u044b\u0439 SFT \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u0443\u0433\u0443\u0431\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u0435\u0440\u0435\u043a\u043e\u0441, \u043d\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0435\u0433\u043e.<\/p>\n
        8.3 \u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a<\/h4>\n
        \n
        \n\n\n\n\n\n\n\n\n\n\n
        \n
        \u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n
        		\n
        RU score<\/p>\n<\/th>\n<\/tr>\n
        \n
        Gemini 3.1 Pro<\/p>\n<\/td>\n
        		\n
        9.74<\/p>\n<\/td>\n<\/tr>\n
        \n
        GPT-5.5<\/p>\n<\/td>\n
        		\n
        9.68<\/p>\n<\/td>\n<\/tr>\n
        \n
        Claude Opus 4.7<\/p>\n<\/td>\n
        		\n
        9.65<\/p>\n<\/td>\n<\/tr>\n
        \n
        DeepSeek V4 Flash<\/p>\n<\/td>\n
        		\n
        9.05<\/p>\n<\/td>\n<\/tr>\n
        \n
        Qwen 3.5 27B<\/p>\n<\/td>\n
        		\n
        9.03<\/p>\n<\/td>\n<\/tr>\n
        \n
        Gemma 4 31B<\/strong><\/p>\n<\/td>\n
        		\n
        8.98<\/strong><\/p>\n<\/td>\n<\/tr>\n
        \n
        Qwen 3.6 27B<\/p>\n<\/td>\n
        		\n
        8.42<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
        Closed-frontier \u0442\u0440\u043e\u0439\u043a\u0430 \u043f\u043b\u043e\u0442\u043d\u043e \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 9.65-9.74. Open-weights \u0442\u0440\u043e\u0439\u043a\u0430 (DeepSeek \/ Qwen 3.5 \/ Gemma) \u2014 8.98-9.05, \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 0.07 \u0431\u0430\u043b\u043b\u0430. \u042d\u0442\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0442\u0435\u0437\u0438\u0441 \u00ab\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 Gemma \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0451 \u043b\u0443\u0447\u0448\u0435\u0439 \u043f\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u043c\u0443\u00bb<\/strong> \u2014 \u043d\u0443\u0436\u043d\u043e \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c: Gemma \u043b\u0443\u0447\u0448\u0435 Qwen 3.6 (\u0433\u0434\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 +0.56), \u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0438 open-weights frontier \u043f\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u043c\u0443 \u2014 \u043f\u0430\u0440\u0438\u0442\u0435\u0442<\/strong>. \u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u0442\u043e\u0440 Gemma \u043d\u0430 \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u2014 \u0434\u0440\u0443\u0433\u043e\u0439 (\u0441\u043c. \u00a78.2).<\/p>\n
        9. \u0421\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u0441\u0443\u0434\u0435\u0439 \u0438 self-judging bias<\/h4>\n
        \u0421\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u0442\u0440\u0451\u043c \u0441\u0443\u0434\u044c\u044f\u043c:<\/strong><\/p>\n
        \n
        \n\n\n\n\n\n\n\n\n\n\n
        \n
        \u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n
        		\n
        Claude (J1)<\/p>\n<\/th>\n
        		\n
        GPT-5.5 (J2)<\/p>\n<\/th>\n
        		\n
        Gemini (J3)<\/p>\n<\/th>\n
        		\n
        Spread<\/p>\n<\/th>\n<\/tr>\n
        \n
        Opus 4.7<\/p>\n<\/td>\n
        		\n
        9.20*<\/p>\n<\/td>\n
        		\n
        8.49<\/p>\n<\/td>\n
        		\n
        9.61<\/p>\n<\/td>\n
        		\n
        1.12<\/p>\n<\/td>\n<\/tr>\n
        \n
        Gemini 3.1 Pro<\/p>\n<\/td>\n
        		\n
        8.97<\/p>\n<\/td>\n
        		\n
        8.28<\/p>\n<\/td>\n
        		\n
        9.40*<\/p>\n<\/td>\n
        		\n
        1.12<\/p>\n<\/td>\n<\/tr>\n
        \n
        GPT-5.5<\/p>\n<\/td>\n
        		\n
        8.41<\/p>\n<\/td>\n
        		\n
        8.36<\/p>\n<\/td>\n
        		\n
        8.82<\/p>\n<\/td>\n
        		\n
        0.46<\/p>\n<\/td>\n<\/tr>\n
        \n
        DeepSeek V4 Flash<\/p>\n<\/td>\n
        		\n
        8.16<\/p>\n<\/td>\n
        		\n
        7.38<\/p>\n<\/td>\n
        		\n
        8.56<\/p>\n<\/td>\n
        		\n
        1.18<\/p>\n<\/td>\n<\/tr>\n
        \n
        Qwen 3.5 27B<\/p>\n<\/td>\n
        		\n
        7.66<\/p>\n<\/td>\n
        		\n
        6.98<\/p>\n<\/td>\n
        		\n
        7.92<\/p>\n<\/td>\n
        		\n
        0.94<\/p>\n<\/td>\n<\/tr>\n
        \n
        Gemma 4 31B<\/p>\n<\/td>\n
        		\n
        7.54<\/p>\n<\/td>\n
        		\n
        7.08<\/p>\n<\/td>\n
        		\n
        7.74<\/p>\n<\/td>\n
        		\n
        0.66<\/p>\n<\/td>\n<\/tr>\n
        \n
        Qwen 3.6 27B<\/p>\n<\/td>\n
        		\n
        6.97<\/p>\n<\/td>\n
        		\n
        6.17<\/p>\n<\/td>\n
        		\n
        6.89<\/p>\n<\/td>\n
        		\n
        0.80<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
        *\u2014 self-judging row (Opus \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 Opus; Gemini \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 Gemini)<\/p>\n
        \u0412\u0441\u0435 \u0442\u0440\u0438 \u0441\u0443\u0434\u044c\u0438 \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u044e\u0442 \u0441\u0435\u043c\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e, \u044d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, \u0447\u0442\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u2014 \u043d\u0435 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0432\u044b\u0431\u043e\u0440\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u0443\u0434\u044c\u0438. \u0421\u0440\u0435\u0434\u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0446\u0438\u0444\u0440 (\u0431\u0435\u0437 \u043e\u0446\u0435\u043d\u043e\u043a \u0441\u0430\u043c\u0438\u0445 \u0441\u0435\u0431\u044f) GPT-5.5 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e \u0441\u0442\u0440\u043e\u0436\u0435<\/strong> (\u043d\u0430 0.5-1.0 \u0431\u0430\u043b\u043b\u0430), Claude \u0438 Gemini \u0431\u043b\u0438\u0436\u0435 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443.<\/p>\n
        Self-judging bias \u2014 Opus \u0438 Gemini \u0432 \u0440\u043e\u043b\u0438 \u0441\u0443\u0434\u044c\u0438 \u043d\u0430 \u0441\u0435\u0431\u0435.<\/strong> \u041a\u043e\u0433\u0434\u0430 \u0441\u0442\u0440\u043e\u0438\u043b \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0438 \u0441\u0443\u0434\u0435\u0439 \u0431\u0435\u043d\u0447\u0430, \u044f \u043d\u0435 \u043e\u0442\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e Opus \u0438 Gemini \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430\u0445 \u0438 \u0441\u0443\u0434\u044c\u044f\u0445. \u042d\u0442\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043c\u0430\u0445 \u2014 Opus \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u0432\u044b\u0448\u0435 cross-\u0441\u0443\u0434\u0435\u0439 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 +0.7 \u0431\u0430\u043b\u043b\u0430, Gemini \u2014 \u043d\u0430 +1.1.<\/p>\n
        \u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u0434\u043b\u044f \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0430:<\/p>\n
        \u2192 Opus 4.7 cross-only avg: 9.05<\/strong> (\u0432\u043c\u0435\u0441\u0442\u043e 9.10) \u2192 Gemini 3.1 Pro cross-only avg: 8.625<\/strong> (\u0432\u043c\u0435\u0441\u0442\u043e 8.88)<\/p>\n
        \u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u2014 Opus \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f 1-\u043c, Gemini 2-\u043c. \u041d\u043e \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0438 GPT-5.5 (8.53) \u0443\u0436\u0435, \u0447\u0435\u043c \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u044b\u0440\u044b\u043c \u0447\u0438\u0441\u043b\u0430\u043c. \u0427\u0435\u0441\u0442\u043d\u043e \u2014 \u044d\u0442\u043e \u043d\u0430\u0434\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0434\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430, \u043d\u0435 \u043f\u043e\u0441\u043b\u0435, \u0432\u0438\u043d\u043e\u0432\u0430\u0442.<\/p>\n
        \u0420\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u0441\u0443\u0434\u044c\u044f\u043c\u0438 (>2 \u0431\u0430\u043b\u043b\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u2014 \u043f\u043e\u0432\u043e\u0434 \u0434\u043b\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438):<\/strong><\/p>\n
        \n
        \n\n\n\n\n\n\n\n\n\n\n
        \n
        \u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n
        		\n
        Disagreement count<\/p>\n<\/th>\n
        		\n
        %<\/p>\n<\/th>\n<\/tr>\n
        \n
        Qwen 3.6 27B<\/p>\n<\/td>\n
        		\n
        50<\/p>\n<\/td>\n
        		\n
        25%<\/p>\n<\/td>\n<\/tr>\n
        \n
        DeepSeek V4 Flash<\/p>\n<\/td>\n
        		\n
        40<\/p>\n<\/td>\n
        		\n
        21%<\/p>\n<\/td>\n<\/tr>\n
        \n
        Qwen 3.5 27B<\/p>\n<\/td>\n
        		\n
        29<\/p>\n<\/td>\n
        		\n
        15%<\/p>\n<\/td>\n<\/tr>\n
        \n
        Opus 4.7<\/p>\n<\/td>\n
        		\n
        26<\/p>\n<\/td>\n
        		\n
        13%<\/p>\n<\/td>\n<\/tr>\n
        \n
        Gemini 3.1 Pro<\/p>\n<\/td>\n
        		\n
        26<\/p>\n<\/td>\n
        		\n
        13%<\/p>\n<\/td>\n<\/tr>\n
        \n
        Gemma 4 31B<\/p>\n<\/td>\n
        		\n
        14<\/p>\n<\/td>\n
        		\n
        7%<\/p>\n<\/td>\n<\/tr>\n
        \n
        GPT-5.5<\/p>\n<\/td>\n
        		\n
        8<\/p>\n<\/td>\n
        		\n
        4%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
        GPT-5.5 \u2014 \u0441\u0430\u043c\u044b\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0443\u0434\u0435\u0439. Gemma \u2014 \u0432\u0442\u043e\u0440\u0430\u044f. Qwen 3.6 \u2014 \u043b\u0438\u0434\u0435\u0440 \u043f\u043e \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u0438 (1 \u0438\u0437 4 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u0431\u043e\u0439 \u0441\u0443\u0434\u0435\u0439 >2 \u0431\u0430\u043b\u043b\u0430). \u042d\u0442\u043e \u0432\u0442\u043e\u0440\u0438\u0447\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 Qwen 3.6 \u0434\u0430\u0451\u0442 \u00ab\u043d\u0435\u0440\u043e\u0432\u043d\u044b\u0435\u00bb \u043e\u0442\u0432\u0435\u0442\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0443\u0434\u044c\u0438 \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443.<\/p>\n
        \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435.<\/strong> \u0422\u043e\u043f-3 closed-frontier \u043f\u0438\u0448\u0443\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e \u2014 \u0440\u0430\u0437\u043d\u043e\u0431\u043e\u0439 \u0441\u0443\u0434\u0435\u0439 \u043d\u0438\u0437\u043a\u0438\u0439. Gemma \u043f\u0438\u0448\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u0435-\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e. Qwen-\u0441\u0435\u043c\u044c\u044f (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e 3.6 \u0441 reasoning-\u0432-default) \u2014 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0430\u044f. \u0415\u0441\u043b\u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u0430 \u0432\u0430\u0436\u043d\u0430, \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0439 \u0444\u0430\u043a\u0442\u043e\u0440 \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u0447\u0451\u0442\u0430.<\/p>\n
        10. \u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e Gemma 4 31B<\/h4>\n
        Frontier-closed \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 \u043d\u0430\u0448\u0435\u0439 \u0431\u0430\u0437\u044b \u043d\u0430 1.5-1.7 \u0431\u0430\u043b\u043b\u0430. Open-frontier (DeepSeek V4 Flash) \u2014 \u043d\u0430 0.58. \u042d\u0442\u043e \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u043e. \u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c \u0432\u044b\u0431\u043e\u0440, \u044f \u0441\u0435\u043b \u0438 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u0442\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u0430.<\/p>\n
        \u0410\u0440\u0433\u0443\u043c\u0435\u043d\u0442 1 \u2014 \u0414\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c.<\/strong> Closed-weights \u043d\u0435\u043b\u044c\u0437\u044f \u0444\u0430\u043d\u0442\u044e\u043d\u0438\u0442\u044c \u043f\u043e\u0434 \u0434\u043e\u043c\u0435\u043d. Opus, Gemini, GPT-5.5 \u2014 \u044d\u0442\u043e \u0432\u044b\u0437\u043e\u0432\u044b API, \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0435\u043c, \u0447\u0442\u043e Anthropic \/ Google \/ OpenAI \u043f\u043e\u043b\u043e\u0436\u0438\u043b\u0438 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u2014 \u0443 \u043c\u0435\u043d\u044f \u043d\u0435\u0442 \u0440\u044b\u0447\u0430\u0433\u0430, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b, \u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e — \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439.<\/p>\n
        Open-weights \u043c\u043e\u0436\u043d\u043e. \u0421 Gemma 4 31B \u044f \u043c\u043e\u0433\u0443 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043a\u043e\u0440\u043f\u0443\u0441 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 (\u043c\u0435\u0442\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u0421\u0428\u041e\u0420, \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u044b \u0412\u0424\u0412\/\u0420\u0424\u0411\/\u0420\u0421\u0421\u0421\u0420, \u0434\u0438\u0441\u0441\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u041d\u0418\u0418\u0424\u041a, \u0441\u0442\u0430\u0442\u044c\u0438 \u0422\u0435\u043e\u0440\u0438\u0438 \u0438 \u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0424\u041a), \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c DoRA+PiSSA+rsLoRA+LoRA+ \u043d\u0430 Selectel \u043d\u0430 3-7 \u0434\u043d\u0435\u0439, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0430\u043a\u0446\u0435\u043d\u0442\u044b \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 closed-frontier \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435.<\/p>\n
        \u0414\u043e\u043c\u0435\u043d\u043d\u044b\u0439 SFT \u043d\u0430 30B-\u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0442\u0438\u043f\u0438\u0447\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 60-80% \u0440\u0430\u0437\u0440\u044b\u0432\u0430 \u043d\u0430 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u2014 Gemma post-SFT \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 8.5-9.0 \u043d\u0430 \u041b\u0418\u0418-\u0421\u043f\u043e\u0440\u0442-Bench. \u042d\u0442\u043e \u043f\u0430\u0440\u0438\u0442\u0435\u0442 \u0441 GPT-5.5 \u0432 \u0442\u043e\u0439 \u0437\u043e\u043d\u0435, \u0433\u0434\u0435 \u044d\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e, \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e Gemma \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f \u0432 \u043d\u0430\u0448\u0435\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 (\u043c\u044b \u043d\u0435 \u043f\u043b\u0430\u0442\u0438\u043c \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u044b\u0437\u043e\u0432).<\/p>\n
        \u0410\u0440\u0433\u0443\u043c\u0435\u043d\u0442 2 \u2014 \u0425\u043e\u0441\u0442\u0438\u043d\u0433.<\/strong> Anthropic \u043d\u0435 \u043e\u0442\u0434\u0430\u0451\u0442 API \u043d\u0430 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u0435 IP, Google Gemini \u0438 OpenAI \u2014 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0414\u043b\u044f \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u043a\u0430\u043a \u0421\u0428\u041e\u0420, \u0412\u0423\u0417, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u0420\u0424 \u043f\u043e\u0434 152-\u0424\u0417 (\u0434\u043e\u043b\u0436\u043d\u044b), \u044d\u0442\u0438 API \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u0443\u043a\u0442.<\/p>\n
        Gemma 4 31B \u0436\u0438\u0432\u0451\u0442 \u0432 \u0441\u0432\u043e\u0435\u043c \u043a\u043e\u043d\u0442\u0443\u0440\u0435 \u2014 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0430\u044f \u044e\u0440\u0438\u0441\u0434\u0438\u043a\u0446\u0438\u044f, \u043f\u043e 152-\u0424\u0417, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043a\u0430\u043a API \u0432 \u043b\u044e\u0431\u0443\u044e \u0444\u0435\u0434\u0435\u0440\u0430\u0446\u0438\u044e\/\u043b\u044e\u0431\u043e\u043c\u0443 \u043a\u043b\u0438\u0435\u043d\u0442\u0443 \u043f\u043e \u0437\u0430\u0449\u0438\u0449\u0451\u043d\u043d\u043e\u043c\u0443 \u043a\u0430\u043d\u0430\u043b\u0443. \u0422\u043e \u0436\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f DeepSeek V4 Flash (\u0442\u043e\u0436\u0435 open-weights, \u043c\u043e\u0436\u043d\u043e \u0445\u043e\u0441\u0442\u0438\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e), \u043d\u043e \u0446\u0435\u043d\u0430 \u0434\u0440\u0443\u0433\u0430\u044f (\u0441\u043c. \u043d\u0438\u0436\u0435).<\/p>\n
        \u0410\u0440\u0433\u0443\u043c\u0435\u043d\u0442 3 \u2014 \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b.<\/strong> \u0421\u0435\u0431\u0435\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0434\u0430\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u0443\u044e \u0434\u0435\u043b\u044c\u0442\u0443.<\/p>\n
        \n
        \n\n\n\n\n\n\n\n\n
        \n
        \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/p>\n<\/th>\n
        		\n
        Gemma 4 31B (dense)<\/p>\n<\/th>\n
        		\n
        DeepSeek V4 Flash (MoE 284B\/13B)<\/p>\n<\/th>\n<\/tr>\n
        \n
        \u041f\u0430\u043c\u044f\u0442\u044c FP16<\/p>\n<\/td>\n
        		\n
        ~62 GB<\/p>\n<\/td>\n
        		\n
        ~568 GB (MoE \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430)<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u041f\u0430\u043c\u044f\u0442\u044c 4-bit<\/p>\n<\/td>\n
        		\n
        ~16 GB<\/p>\n<\/td>\n
        		\n
        ~142 GB<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0430 \u0442\u043e\u043a\u0435\u043d<\/p>\n<\/td>\n
        		\n
        31B<\/p>\n<\/td>\n
        		\n
        13B (\u0431\u044b\u0441\u0442\u0440\u0435\u0435 compute)<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 Selectel<\/p>\n<\/td>\n
        		\n
        1\u00d7 A100\/L4 (~50-80\u041a \u20bd\/\u043c\u0435\u0441)<\/p>\n<\/td>\n
        		\n
        2\u00d7 H200 PCIe 8-bit (~250-300\u041a \u20bd\/\u043c\u0435\u0441) \u0418\u041b\u0418 1\u00d7 H200 NVL 4-bit \u0441 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (~120\u041a \u20bd\/\u043c\u0435\u0441)<\/p>\n<\/td>\n<\/tr>\n
        \n
        \u0417\u0440\u0435\u043b\u043e\u0441\u0442\u044c fine-tuning toolkit<\/p>\n<\/td>\n
        		\n
        DoRA\/PiSSA + Unsloth \u2014 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d-\u0440\u0435\u043b\u0438\u0437<\/p>\n<\/td>\n
        		\n
        MoE FT \u2014 research-grade<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
        \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430: MoE 284B\/13B \u0438\u043c\u0435\u0435\u0442 13B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u2014 compute \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041d\u043e MoE \u043d\u0435 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441-\u043f\u0430\u043c\u044f\u0442\u044c, \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f. \u041d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 federation-\u044e\u043d\u0438\u0442-\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 Gemma \u0438 DeepSeek \u0432 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u2014 \u044d\u0442\u043e 5-10\u00d7 \u043f\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c.<\/p>\n
        \u0421\u0432\u043e\u0434\u043d\u044b\u0439 \u043e\u0442\u0447\u0435\u0442:<\/strong><\/p>\n
        \u2192 \u0417\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u0442\u043e\u043f \u043c\u043e\u0434\u0435\u043b\u0438 (Opus\/Gemini\/GPT) \u043b\u0443\u0447\u0448\u0435 Gemma \u043d\u0430 \u0441\u044b\u0440\u043e\u043c \u0441\u0447\u0451\u0442\u0435, \u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043a \u043f\u0440\u043e\u0434\u0443<\/strong> \u0432 \u0420\u0424 \u0438 \u043d\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0430\u044f<\/strong> \u2014 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c. \u2192 DeepSeek V4 Flash \u043b\u0443\u0447\u0448\u0435 Gemma \u043d\u0430 0.58, \u0432 5-10 \u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435 \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438<\/strong>, \u0438 SFT-pipeline \u0435\u0449\u0451 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f. \u041d\u0435 \u0432\u044b\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u044e\u043d\u0438\u0442-\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0443 \u0432 \u043c\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u2192 Gemma 4 31B \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0442\u043e\u043f\u0443, \u043d\u043e \u0432 5-10 \u0440\u0430\u0437 \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 + \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e fine-tunable + \u043b\u0443\u0447\u0448\u0435\u0435 \u0432 \u0441\u0432\u043e\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0435 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0446\u0435\u043d\u0430\/\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432 \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435<\/strong>.<\/p>\n
        \u042d\u0442\u043e \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440, \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439. \u0421\u0435\u043c\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 Gemma 4 = \u0435\u0434\u0438\u043d\u044b\u0439 \u0441\u0442\u0435\u043a, \u0435\u0434\u0438\u043d\u044b\u0439 toolchain, \u0435\u0434\u0438\u043d\u044b\u0435 chat templates (Gemma-style <start_of_turn>user\/model<\/code>), \u0435\u0434\u0438\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0435\u043c\u044c\u044f. \u0414\u043b\u044f \u0434\u043e\u043b\u0433\u043e\u0439 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0434\u043e\u043b\u0433\u0430 \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043f\u0440\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u0445.<\/p>\n
        DeepSeek V4 Flash \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u044b\u043c \u0434\u043b\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f<\/strong> \u0434\u043b\u044f \u0432\u0435\u0440\u0441\u0438\u0438 v0.2: \u043f\u0440\u0435\u043c\u0438\u0443\u043c-tier \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f B2B-research-\u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043d\u0443\u0436\u0435\u043d MIT-license + \u0442\u043e\u043f-\u043a\u043b\u0430\u0441\u0441 \u0438 \u043e\u043d\u0438 \u0433\u043e\u0442\u043e\u0432\u044b \u043f\u043b\u0430\u0442\u0438\u0442\u044c 3-5\u00d7 \u043e\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0439\u0441\u0430. \u042d\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442, \u043d\u0435 \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043a\u0430.<\/p>\n
        11. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u043e\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h4>\n
        \u041f\u043e\u043b\u043d\u044b\u0439 7-\u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0438\u043b\u043e\u0442:<\/p>\n
        \u041a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b (~$45):<\/strong><\/p>\n
        \u2192 Gemma 4 31B: 86K \u0432\u0445\u043e\u0434 \/ 114K \u0432\u044b\u0445\u043e\u0434 = ~\"0.05**1.50<\/strong> \u2192 Qwen 3.5 27B: 95K \u0432\u0445\u043e\u0434 \/ 380K \u0432\u044b\u0445\u043e\u0434 = ~\"0.50**0.40<\/strong> \u2192 GPT-5.5: 121K \u0432\u0445\u043e\u0434 \/ 612K \u0432\u044b\u0445\u043e\u0434 = ~\"22**6.30<\/strong> \u2192 Gemini 3.1 Pro Preview: 83K \u0432\u0445\u043e\u0434 \/ 408K \u0432\u044b\u0445\u043e\u0434 = ~$5<\/strong> (reasoning \u0442\u043e\u043a\u0435\u043d\u044b)<\/p>\n
        \u0421\u0443\u0434\u044c\u0438 3 \u00d7 7 = 21 \u043f\u0440\u043e\u0433\u043e\u043d \u00d7 200 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 (~$60):<\/strong><\/p>\n
        \u2192 Gemini 3.1 Pro \u00d7 7 \u00d7 200: ~\"324 \u2192 Claude Opus 4.7 \u00d7 7 \u00d7 200: ~$40<\/p>\n
        \u041f\u043b\u044e\u0441 ~$45 \u043d\u0430 \u0440\u0435\u0442\u0440\u0430\u0438 + \u0431\u0430\u0433\u0438<\/strong> (X-Title Cyrillic, reasoning truncation \u0434\u043b\u044f Qwen 3.5 \u0438 Gemini-judge, OpenRouter per-key cap hit twice).<\/p>\n
        \u0418\u0442\u043e\u0433\u043e: ~$150 \u043d\u0430 \u043f\u043e\u043b\u043d\u044b\u0439 7-\u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0438\u043b\u043e\u0442.<\/strong> \u041b\u044e\u0431\u043e\u0439 \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438. \u0421 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u0437 \u043d\u043e\u0432\u044b\u0445 API-\u0432\u044b\u0437\u043e\u0432\u043e\u0432: bun src\/aggregate.ts && bun src\/render.ts<\/code>.<\/p>\n
        12. \u041e\u0442\u043a\u0440\u044b\u0442 \u043a \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c<\/h4>\n
        \u0412\u0441\u0451 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438:<\/p>\n
        \u2192 655 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432:<\/strong> \/llm-integrator\/_bench\/lii-sport-bench-ru\/v0.1\/tier{1,2,3}\/\u2192 **Eval harness** (Bun TypeScript, ~600 \u0441\u0442\u0440\u043e\u043a, \u0431\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439):<\/code>eval\/src\/\u2192 **\u041f\u0440\u043e\u043c\u043f\u0442\u044b \u0441\u0443\u0434\u0435\u0439** (RU, \u0440\u0443\u0431\u0440\u0438\u043a\u0430 \u043d\u0430 4 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f):<\/code>eval\/prompts\/\u2192 **Pilot data:**   \u2192<\/code>data\/pilot-200.json\u2014 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441 seed<\/code>lii-2026-05-13  \u2192<\/code>data\/outputs\/.json<\/em>\u2014 400 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c   \u2192<\/em><\/code>data\/scores\/<\/em>.json\u2014 1200 \u043e\u0446\u0435\u043d\u043e\u043a \u0441\u0443\u0434\u0435\u0439 \u0441 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c   \u2192<\/code>data\/aggregated.json` \u2014 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0431\u0430\u043b\u043b\u044b<\/p>\n
        \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u0437 \u043d\u043e\u0432\u044b\u0445 API-\u0432\u044b\u0437\u043e\u0432\u043e\u0432:<\/p>\n
        git clone https:\/\/github.com\/csylabs-org\/lii-sport-bench-ru.gitbun src\/aggregate.ts && bun src\/render.ts# \u2192 results\/2026-05-XX-pilot-gemma-vs-qwen.md regenerated<\/code>
        <\/a><\/div><\/pre>\n
        \u0427\u0442\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441 \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e:<\/p>\n
        set -a && source .env.local && set +aMODEL=anthropic\/claude-haiku-4.5 bun src\/run.ts# ... \u0437\u0430\u0442\u0435\u043c judge.ts \u00d7 3 \u0441\u0443\u0434\u044c\u0438bun src\/aggregate.ts && bun src\/render.ts<\/code>
        <\/a><\/div><\/pre>\n
        13. \u0427\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435<\/h4>\n
        \u042d\u0442\u0430 \u043d\u0435\u0434\u0435\u043b\u044f:<\/strong><\/p>\n