{"id":496927,"date":"2026-10-01T12:59:12","date_gmt":"2026-10-01T12:59:12","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=496927"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=496927","title":{"rendered":"\u0427\u0442\u043e \u0443\u043c\u0435\u0435\u0442 \u0438 \u0433\u0434\u0435 \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f Jev: \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/24\/b9\/49\/24b949569e59651b19a2df274380ed4e.jpg\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/24\/b9\/49\/24b949569e59651b19a2df274380ed4e.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/24\/b9\/49\/24b949569e59651b19a2df274380ed4e.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432\u0430\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0442\u044c \u0438\u0445 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0446\u0435\u043d\u0443, \u043d\u043e \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0433\u0434\u0435 \u0438\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u0430 \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430. \u041c\u043d\u043e\u0433\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u2014 \u0438 \u043e \u043d\u0438\u0445 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0437\u043d\u0430\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435.<\/p>\n<p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Jev \u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043d\u043e \u043e\u0431\u044a\u0451\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u043c, \u0438 \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0441 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c. \u0421 19 \u043f\u043e 30 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043e <strong>22 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430<\/strong> \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043e \u043e\u043a\u043e\u043b\u043e <strong>160 \u0442\u044b\u0441\u044f\u0447 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432<\/strong> \u043a <code>jev-1.13.0<\/code> \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c OpenAI. \u0412\u0441\u0435 \u0442\u0435\u0441\u0442\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 API \u0440\u0430\u043d\u043d\u0435\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0438 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u043e\u0431\u043e\u0448\u043b\u0438\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 <strong>$18<\/strong>.<\/p>\n<p>\u041c\u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0446\u0435\u043d\u0443, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0439\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0435\u0451 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0430 \u0442\u043e\u0447\u043d\u0430 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 GPT-\u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438? \u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0435\u0451 <code>confidence<\/code> \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0430 \u043d\u0451\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u043e\u0443\u0442\u0438\u043d\u0433? \u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0451\u0442 \u043f\u0440\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438 \u0441\u043f\u0438\u0441\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0433\u0440\u044f\u0437\u043d\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u0438\u043b\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u044f\u0437\u044b\u043a\u0435? \u0423 LLM \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0441\u0432\u043e\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <em>lost in the middle<\/em> \u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u043e\u0441\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043e\u0448\u0438\u0431\u0430\u0442\u044c\u0441\u044f. \u041b\u043e\u0433\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0435\u0441\u0442\u044c \u043b\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0442\u0430\u043a\u0438\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u043e\u0432 \u0443 System One \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 Jev.<\/p>\n<p>\u042f \u043d\u0435 \u0431\u0443\u0434\u0443 \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Jev \u2014 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0435 \u0432\u0432\u043e\u0434\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u0430 \u0434\u0435\u0442\u0430\u043b\u0438 API \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 <a href=\"https:\/\/docs.typesafe.ai\/\" rel=\"noopener nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a>. \u041d\u0438\u0436\u0435 \u2014 \u0441\u0435\u0440\u0438\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a. \u0412\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u044b \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u0430\u0442\u0430\u043c \u0437\u0430\u043c\u0435\u0440\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0435 \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445, \u0430 \u0432 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445.<\/p>\n<details class=\"spoiler\">\n<summary>\u041c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u0440\u043e \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Jev<\/summary>\n<div class=\"spoiler__content\">\n<p>Jev \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442. \u041d\u0430 \u0432\u0445\u043e\u0434 \u2014 \u0442\u0435\u043a\u0441\u0442 (<code>state<\/code>) \u0438 \u043d\u0430\u0431\u043e\u0440 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u043d\u0435\u043c\u0443, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434 \u2014 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439. \u0422\u0438\u043f\u043e\u0432 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0442\u0440\u0438: <code>choice<\/code> (\u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430), <code>score<\/code> (\u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e \u0448\u043a\u0430\u043b\u0435 \u0443\u0440\u043e\u0432\u043d\u0435\u0439) \u0438 <code>noul<\/code> (\u0434\u0430\/\u043d\u0435\u0442 \u0432 \u0432\u0438\u0434\u0435 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438). \u0414\u043b\u044f <code>choice<\/code> \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u044b \u0438 \u0438\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043d\u0430 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0432\u0441\u044f \u00ab\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u00bb.<\/p>\n<pre><code class=\"bash\">curl https:\/\/api.typesafe.ai\/v1\/systemone \\  -H \"Authorization: Bearer $TYPESAFE_API_KEY\" \\  -H \"Content-Type: application\/json\" \\  -d '{    \"model\": \"jev-1.13.0\",    \"state\": \"typed it wrong too many times at the atm and now its locked, how do i fix\",    \"questions\": {      \"intent\": {        \"type\": \"choice\",        \"instructions\": \"What is the customer asking about?\",        \"criteria\": {          \"pin\": \"Problems with the card PIN: forgotten, blocked, needs changing\",          \"transfer\": \"Sending money, a transfer that failed or is delayed\",          \"support\": \"Anything else that needs a human agent\"        }      }    }  }'<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<p>\u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u2014 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, <code>confidence<\/code> \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <code>probabilities<\/code> \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0430, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435):<\/p>\n<pre><code class=\"json\">{  \"answers\": {    \"intent\": {      \"choice\": \"pin\",      \"confidence\": 0.98,      \"probabilities\": {\"pin\": 0.99, \"transfer\": 0.0, \"support\": 0.01}    }  },  \"usage\": {\"input_tokens\": 212}}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041f\u043b\u0430\u0442\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0445\u043e\u0434: $0.042 \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0432\u044b\u0445\u043e\u0434 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u0435\u043d.<\/p>\n<\/div>\n<\/details>\n<h3>TL;DR<\/h3>\n<ol>\n<li>\n<p><strong>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c Jev \u2014 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 gpt-4.1-mini<\/strong>, \u0435\u0441\u043b\u0438 \u043e\u0431\u0435\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c Jev \u0432 2.4 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0432 5 \u0440\u0430\u0437 \u0434\u0435\u0448\u0435\u0432\u043b\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u2014 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430.<\/strong> \u041e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u043e\u0433 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0443 Jev \u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u0443 GPT \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442: 83% \u043e\u0448\u0438\u0431\u043e\u043a gpt-4.1-mini \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0448\u0435 0.9, \u0443 Jev \u2014 29%. \u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u043e \u0440\u0438\u0441\u043a\u0443 GPT \u043d\u0435 \u0445\u0443\u0436\u0435 \u2014 \u043f\u043e\u0440\u043e\u0433 \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e \u0434\u043e\u043b\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430, \u0430 \u043d\u0435 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0440\u043e\u0433 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u0445\u0435\u043c\u0430\u043c\u0438.<\/strong> \u0414\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u2014 \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u043e\u0433 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043e\u0440\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u0435\u043a\u0441\u0442\u0443 \u2014 \u043f\u043e\u0447\u0442\u0438 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u043e\u0434\u043d\u043e\u0433\u043e<\/strong> \u0438 \u0434\u043e 86% \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0447\u0435\u043c \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u0438\u0445 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u043f\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0443 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong> \u0421 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0438\u043c\u044f \u043c\u0435\u0442\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0431\u0435\u0437 \u043d\u0438\u0445 \u2014 \u0440\u0435\u0448\u0430\u0435\u0442 \u0432\u0441\u0451.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u043e\u043a\u0435\u043d\u044b Jev \u2014 \u043d\u0435 \u0442\u043e\u043a\u0435\u043d\u044b LLM.<\/strong> \u0422\u043e\u0442 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441\u0442\u043e\u0438\u0442 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0435\u043c \u0443 GPT, \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u2014 \u0432\u0442\u0440\u043e\u0435 \u0434\u043e\u0440\u043e\u0436\u0435 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432\u0440\u0435\u0434\u0438\u0442 \u0441\u0440\u0430\u0437\u0443, \u0430 \u043d\u0435 \u0443 \u043b\u0438\u043c\u0438\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/strong>, \u0438 Jev \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0435\u0435 \u043a \u043d\u0435\u043c\u0443, \u0447\u0435\u043c GPT.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0443\u0441\u043e\u0440 \u0432\u043e \u0432\u0445\u043e\u0434\u0435 \u043e\u043f\u0430\u0441\u0435\u043d \u043d\u0435 \u043e\u0431\u044a\u0451\u043c\u043e\u043c, \u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c<\/strong>: \u0446\u0438\u0442\u0430\u0442\u0430 \u043f\u0438\u0441\u044c\u043c\u0430 \u0442\u044f\u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u00ab\u043f\u043e\u0447\u0442\u043e\u0432\u044b\u0439\u00bb \u043a\u043b\u0430\u0441\u0441.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u043b\u044f \u0447\u0443\u0436\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u044f\u0432\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 <\/strong><code><strong>other<\/strong><\/code><strong> \u0432 \u0440\u0430\u0437\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430.<\/strong><\/p>\n<\/li>\n<li>\n<p><strong>\u0421 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0441\u043e\u0442\u043d\u044f\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/strong> (\u043e\u043a\u043e\u043b\u043e 16 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441) \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 Jev \u0434\u043e\u0433\u043e\u043d\u044f\u0435\u0442.<\/p>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443, \u043d\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044f \u043e\u043d\u0430 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u044f\u043c:<\/p>\n<ul>\n<li>\n<p><strong>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/strong> \u2014 \u0434\u043e\u043b\u044f \u0432\u0435\u0440\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 (accuracy): 90% \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0433\u0430\u0434\u0430\u043b\u0430 \u043a\u043b\u0430\u0441\u0441 \u0432 90 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 100.<\/p>\n<\/li>\n<li>\n<p><strong>\u043f.\u043f., \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0435 \u043f\u0443\u043d\u043a\u0442\u044b<\/strong> \u2014 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u043c\u0438. \u0411\u044b\u043b\u043e 90%, \u0441\u0442\u0430\u043b\u043e 87% \u2014 \u044d\u0442\u043e \u043c\u0438\u043d\u0443\u0441 3 \u043f.\u043f. (\u0430 \u043d\u0435 \u043c\u0438\u043d\u0443\u0441 3%).<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043a\u0430\u0445<\/strong>, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u22124.1 [\u22126.3; \u22122.0], \u2014 95% \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435. \u0415\u0441\u043b\u0438 \u043e\u043d \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043f\u043e \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043e\u0442 \u043d\u0443\u043b\u044f, \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0435\u0441\u0442\u044c. \u0415\u0441\u043b\u0438 \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u043b\u044c, \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>p<\/strong> \u2014 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0431\u044b\u043b\u0430 \u0431\u044b \u0442\u0430\u043a\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430, \u0435\u0441\u043b\u0438 \u0431\u044b \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0435\u0451 \u043d\u0435 \u0431\u044b\u043b\u043e. \u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 p, \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0434\u043e\u0432\u043e\u0434, \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0430\u044f; \u043e \u0442\u043e\u043c, \u0432\u0435\u043b\u0438\u043a\u0430 \u043b\u0438 \u043e\u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, p \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442. \u00ab\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438\u00bb \u2014 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0438 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0438\u0437 \u043d\u0438\u0445 \u043c\u043e\u0433\u043b\u0430 \u00ab\u0432\u044b\u0441\u0442\u0440\u0435\u043b\u0438\u0442\u044c\u00bb \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u00ab\u041d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e\u00bb \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442 \u00ab\u043d\u0435\u0442\u00bb.<\/strong> \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u044c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u044f\u0434\u043e\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: \u043a\u0430\u043a\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0449\u0451 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c<\/strong> \u2014 \u0447\u0438\u0441\u043b\u043e \u043e\u0442 0 \u0434\u043e 1, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u0442\u0432\u0435\u0442\u043e\u043c. <strong>\u041f\u043e\u0440\u043e\u0433<\/strong> \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u00ab\u043e\u0442\u0432\u0435\u0442\u044b \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0448\u0435 0.9 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2014 \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443\u00bb. \u041f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f <strong>\u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u043e\u043c<\/strong>.<\/p>\n<\/li>\n<li>\n<p><strong>Latency p50 \/ p95<\/strong> \u2014 \u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430: \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 p50, 95% \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 p95.<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u041a\u0430\u043a \u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u0437\u0430\u043c\u0435\u0440\u044b \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u043e<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0434\u0435\u0441\u044c \u2014 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u0430\u043c.<\/p>\n<p><strong>\u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445.<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043d\u0430\u0431\u043e\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0447\u0442\u043e \u044d\u0442\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043a\u043b\u0430\u0441\u0441\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0434\u043b\u044f \u0447\u0435\u0433\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0430\u044f \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">400 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0439 \u0432 \u0431\u0430\u043d\u043a, 30% \u043b\u0451\u0433\u043a\u0438\u0445 \/ 45% \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \/ 25% \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u0441 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043b\u043e\u0432\u0443\u0448\u043a\u0430\u043c\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 GPT, \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">banking77<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0441\u0440\u0435\u0437 150<\/p>\n<\/td>\n<td>\n<p align=\"left\">10 (24 \u043c\u0435\u0442\u043a\u0438 \u0441\u0432\u0435\u0434\u0435\u043d\u044b)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">MASSIVE (EN + 4 \u044f\u0437\u044b\u043a\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u043e\u043c\u0443 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">10 \u0438 30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u0440\u0443\u0434\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u044f\u0437\u044b\u043a\u0438, \u0441\u0445\u0435\u043c\u0430, \u0433\u0440\u044f\u0437\u043d\u044b\u0439 \u0432\u0445\u043e\u0434<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BoolQ, Yelp<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0434\u0430\/\u043d\u0435\u0442, \u043e\u0442\u0437\u044b\u0432\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 \u0438 5 \u0443\u0440\u043e\u0432\u043d\u0435\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u0438\u043f\u044b \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 <code>noul<\/code> \u0438 <code>score<\/code><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<blockquote>\n<p><strong>\u0420\u0430\u0441\u043a\u0440\u044b\u0442\u0438\u0435.<\/strong> \u0411\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0443\u044e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u0438 \u0432 \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u00ab\u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0433\u043e, \u043d\u043e \u043d\u0435 \u043f\u043e \u0441\u0445\u0435\u043c\u0435\u00bb \u0432\u0445\u043e\u0434\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0430 10 \u043d\u0430\u043f\u0438\u0441\u0430\u043b Claude (Opus 5.5); \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u0447\u0443\u0436\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u2014 \u0441\u0443\u0431\u0430\u0433\u0435\u043d\u0442 \u043d\u0430 Claude Sonnet. \u041d\u0438 \u043e\u0434\u043d\u0430 \u0438\u0437 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Anthropic \u043d\u0435 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442. \u0421\u0430\u043c\u044b\u0439 \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0451 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Jev \u043d\u0430\u0434 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435.<\/p>\n<\/blockquote>\n<p><strong>\u041f\u0440\u0430\u0432\u0438\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u044b \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u0435\u043b:<\/strong><\/p>\n<ul>\n<li>\n<p>\u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0435 (\u0442\u0435\u0441\u0442 \u041c\u0430\u043a\u043d\u0435\u043c\u0430\u0440\u0430); \u043f\u0440\u0438 \u0441\u0435\u043c\u044c\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u2014 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u0425\u043e\u043b\u043c\u0430;<\/p>\n<\/li>\n<li>\n<p>\u00ab\u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u00bb \u0437\u043d\u0430\u0447\u0438\u0442 \u00ab\u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e\u00bb, \u0438 \u0440\u044f\u0434\u043e\u043c \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: \u043a\u0430\u043a\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0449\u0451 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u2014 \u043f\u0440\u0438\u043c\u0435\u0440: \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u043b\u0438\u043d\u0430\u0445, \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445 \u0438\u043b\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445, \u044d\u0442\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0433\u043e, \u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u043e\u043c \u043f\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u043d\u044b\u043c \u0423\u0438\u043b\u043a\u043e\u043a\u0441\u043e\u043d\u043e\u043c, \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u0425\u043e\u043b\u043c\u0430 \u2014 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u043c\u044c\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0441\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0448\u0443\u043c: \u0434\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 0.47% \u043c\u0435\u0442\u043e\u043a. \u0414\u043e\u043b\u044f \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0445\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u044d\u0442\u0438\u043c \u0448\u0443\u043c\u043e\u043c, \u0430 \u043d\u0435 \u0441 \u043d\u0443\u043b\u0451\u043c;<\/p>\n<\/li>\n<li>\n<p>GPT \u043f\u043e\u043b\u0443\u0447\u0430\u043b \u0442\u043e\u0442 \u0436\u0435 \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438, structured output, <code>temperature = 0<\/code>; \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c GPT \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u0430-\u043c\u0435\u0442\u043a\u0438 \u0438\u0437 <code>top_logprobs = 20<\/code> \u043d\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u043a\u0438, \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u0441\u0445\u0435\u043c\u044b (\u0434\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u044b \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u044f \u043c\u0430\u0441\u0441\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: \u043d\u0438\u0436\u0435 0.99 \u2014 \u0443 0.25% \u043e\u0442\u0432\u0435\u0442\u043e\u0432 gpt-4.1-nano \u0438 \u043d\u0438 \u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 gpt-4.1-mini). \u042d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c GPT, \u0430 \u043d\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439: \u043f\u0440\u043e\u0441\u044c\u0431\u0443 \u043a \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0441\u0435\u0431\u044f \u0438\u043b\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u0435 \u0440\u043e\u0443\u0442\u0438\u043d\u0433 \u043d\u0430 GPT.<\/strong> \u0422\u0430\u043a\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u2014 \u043f\u043e \u043f\u0435\u0440\u0432\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u043c\u0435\u0442\u043a\u0438 \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0441\u043d\u044f\u0442\u044c, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043c\u0435\u0442\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u043f\u0435\u0440\u0432\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c. \u041c\u0435\u0442\u043a\u0438 <code>lightsoff<\/code>, <code>lightscolor<\/code> \u0438 <code>lightson<\/code> \u0434\u0435\u043b\u044f\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d, \u0438 \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u0438\u0442\u044c. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u043d\u0430 30 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u043f\u044f\u0442\u044c \u043c\u0435\u0442\u043e\u043a \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u0442\u044c; \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0438\u043c\u044f \u043c\u0435\u0442\u043a\u0438 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 (\u0440\u0430\u0437\u0434\u0435\u043b 5).<\/p>\n<\/blockquote>\n<\/div>\n<\/details>\n<h3>1. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u0446\u0435\u043d\u0430<\/h3>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 OpenAI.<\/strong> \u0423 Jev \u0435\u0441\u0442\u044c <code>confidence<\/code>, \u0438 \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u2014 \u0435\u0441\u043b\u0438 \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u0436\u0435, \u0442\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u0431\u043b\u0438\u0437\u043a\u0438\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u043d\u0435\u0440\u0438\u0437\u043e\u043d\u0438\u043d\u0433\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 <code>logprobs<\/code>: \u043f\u043e \u043d\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u042f \u043d\u0430\u0447\u0430\u043b \u0441 gpt-4.1-nano \u0438 \u0434\u0432\u0438\u0433\u0430\u043b\u0441\u044f \u0432\u0432\u0435\u0440\u0445 \u043f\u043e \u043b\u0438\u043d\u0435\u0439\u043a\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0443\u0432\u0438\u0434\u0435\u043b \u044f\u0441\u043d\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443. \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 <code>gpt-5-*<\/code>, \u043c\u043e\u0434\u0435\u043b\u0438 \u0443 OpenAI \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u044e\u0449\u0438\u0435 \u0438 <code>logprobs<\/code> \u043d\u0435 \u043e\u0442\u0434\u0430\u044e\u0442, \u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0435 \u043f\u0440\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0443\u0436\u0435 \u0434\u043e gpt-5-mini. \u0415\u0451 \u044f \u0432\u0437\u044f\u043b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u0447\u0435\u043a \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438; \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u043c\u044b\u0441\u043b\u0430.<\/p>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u0431\u0430\u043d\u043a\u0430 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c, 10 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u043f\u0435\u0440\u0435\u0432\u043e\u0434, PIN, \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430 \u043a\u0430\u0440\u0442\u044b \u0438 \u0442.\u043f.), 400 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0412\u0441\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u044f \u0434\u0430\u0432\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438, \u0431\u0435\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (\u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 zero-shot):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">Jev<\/p>\n<\/th>\n<th>\n<p align=\"left\">gpt-4.1-nano<\/p>\n<\/th>\n<th>\n<p align=\"left\">gpt-4.1-mini<\/p>\n<\/th>\n<th>\n<p align=\"left\">gpt-5-mini<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">98.8%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441 Jev<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Jev \u043b\u0443\u0447\u0448\u0435<\/strong> (p = 0.0009)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430 p50 \/ p95<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>346 \/ 437 \u043c\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">898 \/ 1454 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">846 \/ 1259 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">2715 \/ 3443 \u043c\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">$ \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>$23<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">$29<\/p>\n<\/td>\n<td>\n<p align=\"left\">$118<\/p>\n<\/td>\n<td>\n<p align=\"left\">$275<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u043a\u0443 \u00ab\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441 Jev\u00bb: \u0443 gpt-4.1-nano \u043e\u0442\u0441\u0442\u0430\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u2014 \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u0431\u044b\u043b \u0431\u044b \u043a\u0440\u0430\u0439\u043d\u0435 \u0440\u0435\u0434\u043e\u043a (p = 0.0009). \u0423 gpt-4.1-mini \u0438 gpt-5-mini \u0446\u0438\u0444\u0440\u044b \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 Jev \u043d\u0430 1 \u043f.\u043f. \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043d\u043e \u043d\u0430 400 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0442\u0430\u043a\u0443\u044e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438: \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b, \u0430 \u043d\u0435 \u00ab\u0440\u0430\u0432\u043d\u044b\u00bb.<\/p>\n<p>\u0412\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u044f \u0438\u0437\u043c\u0435\u0440\u044f\u043b \u0447\u0435\u0440\u0435\u0437 OpenRouter \u0443 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u0442\u043e\u0447\u043a\u0430 \u0432\u0445\u043e\u0434\u0430 \u0431\u044b\u043b\u0430 \u043e\u0431\u0449\u0435\u0439, \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0441 \u043c\u0430\u0448\u0438\u043d\u044b \u043d\u0430 \u041a\u0438\u043f\u0440\u0435; \u043f\u0435\u0440\u0432\u044b\u0435 5 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u2014 \u043f\u0440\u043e\u0433\u0440\u0435\u0432, \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043d\u0435 \u0448\u043b\u0438. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440 \u0447\u0435\u0440\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0438 \u00ab\u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u043a\u0441\u0438 \/ \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e\u00bb \u0434\u0430\u043b \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043e\u043a\u043e\u043b\u043e 17 \u043c\u0441 \u0443 Jev \u0438 \u043e\u043a\u043e\u043b\u043e 214 \u043c\u0441 \u0443 gpt-4.1-nano, \u0442\u0430\u043a \u0447\u0442\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441\u043a\u043e\u0440\u0435\u0435 \u0437\u0430\u043d\u0438\u0436\u0430\u0435\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Jev. \u0426\u0435\u043d\u044b \u2014 \u043f\u043e \u0442\u0430\u0440\u0438\u0444\u0430\u043c \u043d\u0430 \u0434\u0430\u0442\u0443 \u0437\u0430\u043c\u0435\u0440\u0430.<\/p>\n<p>\u0413\u0434\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438. \u041d\u0430 \u043b\u0451\u0433\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0434\u0430\u044e\u0442 100%. \u041d\u0430 \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u2014 \u0441 \u043b\u043e\u0432\u0443\u0448\u043a\u0430\u043c\u0438 \u0432\u0438\u0434\u0430 \u00ab\u0441\u043b\u043e\u0432\u043e \u0447\u0443\u0436\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u0442\u0435\u043c \u043e\u0442\u0440\u0438\u0446\u0430\u0435\u0442\u00bb \u2014 Jev 98%, gpt-4.1-mini 96%, gpt-4.1-nano 90%. \u0422\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 GPT \u043d\u0430 \u0442\u0430\u043a\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435:<\/p>\n<blockquote>\n<p>\u00abMy transfer was blocked pending checks. I\u2019m not asking about the transfer \u2014 I\u2019m asking how to pass the checks\u00bb<\/p>\n<\/blockquote>\n<p>gpt-4.1-nano \u0438 gpt-4.1-mini \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 <code>transfer<\/code> \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e 1.0 (\u0432\u0435\u0440\u043d\u043e \u2014 <code>identity<\/code>). Jev \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0432\u0435\u0440\u043d\u043e, \u0430 \u0441\u0432\u043e\u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0438 \u0441 \u043d\u0438\u0437\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e (0.31, 0.36, 0.53).<\/p>\n<p>\u041d\u0430 banking77 \u043e\u0442\u0432\u0435\u0442\u044b \u0442\u0440\u0451\u0445 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043e\u0432\u043f\u0430\u043b\u0438 \u043d\u0430 \u0432\u0441\u0435\u0445 150 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445. \u0412\u0441\u0435 \u0442\u0440\u0438 \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c \u043d\u0430 \u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445 \u0436\u0435 \u0442\u0440\u0451\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438 \u0440\u0430\u0437\u0431\u043e\u0440\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u043f\u043e\u0440\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043a\u0430\u043c\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430.<\/p>\n<p><strong>Latency \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u0432\u0445\u043e\u0434\u0430<\/strong> \u043d\u0438 \u0443 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0443 Jev 346 \u2192 336 \u043c\u0441 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0432\u0445\u043e\u0434\u0435). \u041e\u0436\u0438\u0434\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Jev \u0432\u044b\u0440\u0430\u0441\u0442\u0435\u0442 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445, \u043d\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u043e\u0441\u044c: \u043e\u043d\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0435.<\/p>\n<p><strong>\u0422\u043e\u043a\u0435\u043d\u043e\u0432 Jev \u0442\u0440\u0430\u0442\u0438\u0442 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435<\/strong> (553 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 269 \u0443 GPT): \u0432\u0435\u0441\u044c \u0431\u043b\u043e\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432\u043e \u0432\u0445\u043e\u0434. \u0418 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u043d \u0441\u0430\u043c\u044b\u0439 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u2014 \u0446\u0435\u043d\u0430 \u0437\u0430 \u0442\u043e\u043a\u0435\u043d \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0443. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u2014 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 7.<\/p>\n<p>\u041d\u0430 10 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u043e \u043d\u0430 \u0442\u0440\u0443\u0434\u043d\u043e\u0439: 30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 MASSIVE, 2400 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441 Jev<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Jev<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-mini<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+0.2 \u043f.\u043f. \u2014 \u043d\u0435\u043e\u0442\u043b\u0438\u0447\u0438\u043c\u043e \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-nano<\/p>\n<\/td>\n<td>\n<p align=\"left\">82.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22126.8 \u043f.\u043f. \u2014 Jev \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043b\u0443\u0447\u0448\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-mini \u0441 \u043f\u043e\u0434\u043a\u0440\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+1 \u043f.\u043f. \u2014 \u043d\u0430 \u0433\u0440\u0430\u043d\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u043e\u0441\u0442\u0438 (p = 0.046)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041f\u0440\u043e \u043f\u0440\u043e\u043c\u043f\u0442.<\/strong> \u041f\u043e\u0434\u043a\u0440\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441, \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u0434\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0438 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0441\u044f. \u041e\u043d \u0434\u0430\u043b gpt-4.1-mini +0.88 \u043f.\u043f. [+0.17; +1.62]. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 GPT: Jev \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u043f\u043e\u0434\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u043b, \u0435\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433 \u043f\u0440\u043e\u043c\u043f\u0442-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0430 \u2014 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0438 \u043e\u043d\u0438 \u0443 \u043e\u0431\u0435\u0438\u0445 \u0441\u0442\u043e\u0440\u043e\u043d \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434.<\/strong> Jev \u0441\u0442\u043e\u0438\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 gpt-4.1-mini \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u0431\u0443\u0434\u0443\u0447\u0438 \u0432 2.4 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0432 5 \u0440\u0430\u0437 \u0434\u0435\u0448\u0435\u0432\u043b\u0435. \u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438: zero-shot, structured output. \u041d\u0430 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0442\u043e\u0447\u0435\u0447\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u0430\u043b\u0430 gpt-5-mini, \u043d\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441 Jev \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u0430, \u0430 \u0441\u0442\u043e\u0438\u0442 \u043e\u043d\u0430 \u0432 12 \u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435. \u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u2014 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439, \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435, \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u2014 Jev \u043f\u043e \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0443 \u043d\u0435 \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d.<\/p>\n<h3>2. \u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u2014 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435<\/h3>\n<p>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u2014 \u043d\u0435 \u0432\u0441\u0451. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u0432\u0430\u0436\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043f\u043e \u043e\u0442\u0432\u0435\u0442\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f: \u0442\u043e\u0433\u0434\u0430 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u0445\u043e\u0434\u044f\u0442 \u0432 \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a, \u0430 \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u2014 \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443.<\/p>\n<p>\u0418\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u0442\u0430\u043a: \u0438\u0437 100 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0430 \u0434\u0430\u0451\u0442 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e 0.9, \u0432\u0435\u0440\u043d\u044b \u043e\u043a\u043e\u043b\u043e 90. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0440\u043e\u0433 0.9 \u0437\u043d\u0430\u0447\u0438\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e.<\/p>\n<p>\u041d\u0430 \u043b\u0451\u0433\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 (10 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432) \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u0438\u0434\u043d\u0430 \u0441\u0440\u0430\u0437\u0443:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u043e\u0440\u043e\u0433 0.9<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0432 \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u0448\u0438\u0431\u043e\u043a \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e &gt; 0.9<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Jev<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>99.7%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1 \u0438\u0437 9<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-nano<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">94.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">21 \u0438\u0437 26<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-mini<\/p>\n<\/td>\n<td>\n<p align=\"left\">99.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>12 \u0438\u0437 12<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0423 gpt-4.1-mini, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438\u0434\u0451\u0442 \u0432\u0440\u043e\u0432\u0435\u043d\u044c \u0441 Jev, \u0432\u0441\u0435 \u0434\u0432\u0435\u043d\u0430\u0434\u0446\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e. \u0422\u0430\u043a\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u043e\u0440\u043e\u0433\u043e\u043c 0.9 \u043d\u0435 \u043e\u0442\u043b\u043e\u0432\u0438\u0442\u044c: \u043e\u043d\u0438 \u0443\u0445\u043e\u0434\u044f\u0442 \u0432 \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a, \u0432\u044b\u0433\u043b\u044f\u0434\u044f \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435.<\/p>\n<p>\u041d\u043e \u043d\u0430 10 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u0443 Jev \u0432\u0441\u0435\u0433\u043e 9 \u043e\u0448\u0438\u0431\u043e\u043a, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043d\u0430 \u0442\u0440\u0443\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u0433\u0434\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c Jev \u0438 gpt-4.1-mini \u0441\u043e\u0432\u043f\u0430\u043b\u0430:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/f1\/50\/26\/f1502667c7117f40cf993fa0e0516364.png\" alt=\"\u041f\u043e\u0440\u043e\u0433 0.9: \u0443 Jev \u043e\u043d \u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u0443 GPT \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/f1\/50\/26\/f1502667c7117f40cf993fa0e0516364.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/f1\/50\/26\/f1502667c7117f40cf993fa0e0516364.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e\u0440\u043e\u0433 0.9: \u0443 Jev \u043e\u043d \u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u0443 GPT \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e<\/figcaption><\/div>\n<\/figure>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u0448\u0438\u0431\u043e\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0438\u0437 \u043d\u0438\u0445 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e &gt; 0.9<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u043e\u0440\u043e\u0433 0.9: \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0432 \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Jev<\/p>\n<\/td>\n<td>\n<p align=\"left\">256<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>74 (29%)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">82.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>96.3%<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-mini<\/p>\n<\/td>\n<td>\n<p align=\"left\">252<\/p>\n<\/td>\n<td>\n<p align=\"left\">210 (83%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">96.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.0%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-nano<\/p>\n<\/td>\n<td>\n<p align=\"left\">420<\/p>\n<\/td>\n<td>\n<p align=\"left\">301 (72%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">92.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.4%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0423 gpt-4.1-mini 93% \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0435 \u043d\u0438\u0436\u0435 0.99, \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u2014 92.9%. \u041f\u043e\u0440\u043e\u0433 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u0442. \u041f\u043e\u0434\u043a\u0440\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442: \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f 81%.<\/p>\n<p><strong>\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u2014 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f.<\/strong> \u0415\u0441\u043b\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e\u0440\u043e\u0433 \u043d\u0435 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0430 \u043f\u043e \u0434\u043e\u043b\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 (\u00ab\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 20% \u0441\u0430\u043c\u044b\u0445 \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445\u00bb), gpt-4.1-mini \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442: \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 80% \u0442\u0440\u0430\u0444\u0438\u043a\u0430, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043d\u0451\u043c 96.98% \u0443 Jev \u043f\u0440\u043e\u0442\u0438\u0432 96.67% \u0443 GPT. \u0422\u043e \u0435\u0441\u0442\u044c <strong>\u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b GPT \u043d\u0435 \u0445\u0443\u0436\u0435. \u041e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u0430\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430<\/strong>: \u043d\u0430 \u044d\u0442\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043f\u043e\u0440\u043e\u0433 0.9 \u0443 Jev \u043e\u0442\u0434\u0435\u043b\u044f\u043b \u043e\u0448\u0438\u0431\u043a\u0438, \u0430 \u0443 GPT \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044f\u043b. \u041f\u043e\u0440\u043e\u0433 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0443 Jev \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043d\u043e \u0435\u0433\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0430\u0434\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: <code>confidence<\/code> \u043d\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c (\u043d\u0438\u0436\u0435), \u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0437\u043e\u043d\u0435 Jev \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f (\u0440\u0430\u0437\u0434\u0435\u043b 3). \u041d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e: \u043a\u0440\u0438\u0432\u044b\u0435 Jev \u0438 gpt-4.1-mini \u043b\u0435\u0436\u0430\u0442 \u043f\u043e\u0447\u0442\u0438 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0435, \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u043e\u0447\u043a\u0438 \u043f\u043e\u0440\u043e\u0433\u043e\u0432 \u0443 GPT \u0441\u0431\u0438\u0442\u044b \u0432 \u043f\u0440\u0430\u0432\u044b\u0439 \u043a\u0440\u0430\u0439.<\/p>\n<p>\u0423 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (gpt-5-mini) \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435: OpenAI \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u0435\u0442 <code>logprobs<\/code> (\u00ablogprobs are not supported with reasoning models\u00bb, \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044c 2026), \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0437\u0434\u0435\u0441\u044c \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430 \u043a \u043d\u0438\u043c \u043d\u0435\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c. \u0414\u0440\u0443\u0433\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u0441\u0430\u043c\u043e\u043e\u0446\u0435\u043d\u043a\u0443, \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u2014 \u044f \u043d\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b.<\/p>\n<h4>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 confidence \u0443 Jev<\/h4>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c. \u041f\u043e <a href=\"https:\/\/docs.typesafe.ai\/confidence\" rel=\"noopener nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0432\u0435\u043d\u0434\u043e\u0440\u0430<\/a>, <code>confidence<\/code> \u2014 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0444\u043e\u0440\u043c\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <code>probabilities<\/code>: 1.0, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u044f \u043c\u0430\u0441\u0441\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435, \u0438 \u0442\u0435\u043c \u043d\u0438\u0436\u0435, \u0447\u0435\u043c \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u0422\u043e\u0447\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043d\u0435\u0442 \u2014 \u0435\u0441\u0442\u044c \u043b\u0438\u0448\u044c \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0434\u043b\u044f \u0442\u0440\u0451\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432. \u041f\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b \u043e\u0431\u0449\u0438\u0439 \u0432\u0438\u0434: \u0434\u043b\u044f <code>choice<\/code> <code>confidence<\/code> \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 <code>(K\u00b7p_max \u2212 1)\/(K \u2212 1)<\/code>, \u0433\u0434\u0435 K \u2014 \u0447\u0438\u0441\u043b\u043e \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u0414\u043b\u044f 10 \u0438 30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c 0.001\u20130.003, \u044d\u0442\u043e \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u043e \u0441\u043e\u0442\u044b\u0445.<\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><strong>\u0448\u043a\u0430\u043b\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432.<\/strong> \u041f\u0440\u0438 \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445 <code>confidence = 2\u00b7p_max \u2212 1<\/code>: \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 0.24 \u2014 \u044d\u0442\u043e <code>p_max<\/code> \u043e\u043a\u043e\u043b\u043e 0.62. \u041d\u0430 BoolQ 45 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438\u0437 600 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0438\u0436\u0435 0.5 (\u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c 0.24), \u0438 \u0432\u0435\u0440\u043d\u044b\u0445 \u0441\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 53%. \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u0430\u044f \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0431\u044f, \u043d\u043e \u043f\u043e\u0447\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u044d\u0442\u043e \u0448\u043a\u0430\u043b\u0430, \u0430 \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u044c. \u0427\u0438\u0442\u0430\u0442\u044c <code>confidence<\/code> \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f \u043d\u0438 \u0432 \u043a\u0430\u043a\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443;<\/p>\n<\/li>\n<li>\n<p><strong>\u0443 \u0434\u0432\u0443\u0445 \u0442\u0440\u0435\u0442\u0435\u0439 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 <\/strong><code><strong>confidence<\/strong><\/code><strong> \u0440\u0430\u0432\u043d\u0430 \u0440\u043e\u0432\u043d\u043e 1.0<\/strong> (64\u201374% \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438). \u041f\u043e\u0440\u043e\u0433 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u0441\u0435\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0438\u0436\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b, \u0430 \u0441\u0440\u0435\u0434\u0438 \u00ab\u0435\u0434\u0438\u043d\u0438\u0446\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0435 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u0435\u0442: \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e;<\/p>\n<\/li>\n<li>\n<p>\u0443 <code>noul<\/code> \u043f\u043e\u043b\u044f <code>confidence<\/code> \u043d\u0435\u0442: \u043e\u0442\u0432\u0435\u0442 \u2014 \u0441\u0430\u043c\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b 6);<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441 GPT \u0447\u0435\u0441\u0442\u043d\u0435\u0435 \u0431\u0440\u0430\u0442\u044c <code>p_max<\/code>, \u0430 \u043d\u0435 <code>confidence<\/code>. \u042f \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u043b: \u0443 Jev \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0431\u044f +4.9 \u043f.\u043f. \u0432\u043c\u0435\u0441\u0442\u043e +4.5, \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a 29.7% \u0432\u043c\u0435\u0441\u0442\u043e 28.9%. \u0412\u044b\u0432\u043e\u0434 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<h3>3. \u041f\u043e\u0440\u043e\u0433 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u0445\u0435\u043c\u0430\u043c\u0438<\/h3>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u0441\u0435\u0440\u0438\u0438 \u2014 \u0438 \u0442\u043e\u0442, \u0433\u0434\u0435 \u043f\u0435\u0440\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u0439.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u0442\u0430\u043a: \u043d\u0430 10 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 Jev \u0441\u043a\u0440\u043e\u043c\u043d\u0438\u0447\u0430\u0435\u0442, \u043d\u0430 30 \u2014 \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f, \u00ab\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f\u00bb. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430, \u0447\u0442\u043e \u00ab\u0441\u043a\u0440\u043e\u043c\u043d\u0438\u0447\u0430\u0435\u0442\u00bb \u0431\u044b\u043b\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0438, \u0430 \u043d\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u0445\u0435\u043c\u044b. \u041d\u0430 MASSIVE Jev \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u0438 \u043d\u0430 10 \u043a\u043b\u0430\u0441\u0441\u0430\u0445.<\/p>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440 \u2014 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441\u043e \u0441\u0445\u0435\u043c\u043e\u0439 \u0438\u0437 30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438 \u0441\u043e \u0441\u0445\u0435\u043c\u043e\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 10 \u00ab\u0441\u0432\u043e\u0438\u0445\u00bb:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">10 \u043a\u043b\u0430\u0441\u0441\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.8% \/ 91.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.3% \/ 87.2%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f\u043e\u0440\u043e\u0433 0.9: \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0432 \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.5% \/ 85.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">83.8% \/ 78.6%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f\u043e\u0440\u043e\u0433 0.9: \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>97.5% \/ 96.8%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>95.9% \/ 95.2%<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u0432\u0430 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u2014 \u00ab\u0431\u043b\u0438\u0437\u043a\u0438\u0435\u00bb \u0438 \u00ab\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b\u0435\u00bb \u2014 \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0441\u0443\u044e \u0447\u0435\u0440\u0442\u0443.<\/p>\n<p><strong>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c.<\/strong> \u041f\u0440\u0438 30 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u0447\u0430\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u2014 \u043b\u0438\u0431\u043e \u0432 \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 (<code>setmeeting \u2192 viewevents<\/code>), \u043b\u0438\u0431\u043e \u0432 \u0448\u0438\u0440\u043e\u043a\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u044b-\u0430\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u044b (<code>viewevents \u2192 factquestion<\/code>). \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442 \u043d\u0430 3.6\u20134.6 \u043f.\u043f., \u0430 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u0432\u0434\u0432\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0440\u043e\u0432\u043d\u043e \u043d\u0430 \u0442\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u043e\u0432\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u0437\u0430\u0431\u0438\u0440\u0430\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<p><strong>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e.<\/strong> \u0412\u043e\u0437\u044c\u043c\u0451\u043c \u043e\u0442\u0432\u0435\u0442\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 Jev \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e, \u043d\u043e \u0438 \u043d\u0435 \u0441\u043e\u043c\u043d\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u043e, \u2014 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442 0.5 \u0434\u043e 0.99. \u041d\u0430 30 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u043d\u0438\u0445 \u043d\u0430 11\u201314 \u043f.\u043f. \u043d\u0438\u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <code>confidence<\/code>: \u0441\u0440\u0435\u0434\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e 0.7\u20130.9 \u0432\u0435\u0440\u043d\u044b\u0445 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 13 \u043f.\u043f. \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043b\u0435. \u042d\u0442\u043e \u043d\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u0432 \u0441\u0442\u0440\u043e\u0433\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u2014 <code>confidence<\/code> \u043d\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c. \u041d\u043e <code>p_max<\/code> \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 <code>confidence<\/code>, \u0442\u0430\u043a \u0447\u0442\u043e \u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0435 \u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0437\u0440\u044b\u0432 \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0440\u0451\u0445 \u0434\u0435\u0444\u0435\u043a\u0442\u043d\u044b\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 (\u0440\u0430\u0437\u0434\u0435\u043b 5) \u0440\u0430\u0437\u0440\u044b\u0432\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0437\u043e\u043d\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e.<\/p>\n<p><strong>\u0421\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f<\/strong>: \u043d\u0430 30 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u043f\u043e\u0440\u043e\u0433 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u0430 \u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0442 90% \u0434\u043e 98%. \u0414\u043e\u0440\u043e\u0436\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f: \u0437\u0430 98% \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0440\u0435\u0442\u0438 \u0442\u0440\u0430\u0444\u0438\u043a\u0430.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434 \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438: \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0441\u0445\u0435\u043c\u044b \u043f\u043e\u0440\u043e\u0433 \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435.<\/strong> \u0422\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u043e\u0433 0.9 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u0441\u0445\u0435\u043c\u044b \u2014 \u0442\u0438\u0445\u0430\u044f \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 1.5 \u043f.\u043f.<\/p>\n<h3>4. Fan-out: \u0441\u043e\u0440\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u043e\u0434\u043d\u043e\u0433\u043e<\/h3>\n<p>\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430: \u0438\u043d\u0442\u0435\u043d\u0442, \u0441\u0440\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u044f\u0437\u044b\u043a, \u0435\u0441\u0442\u044c \u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u2026 Jev \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0438\u0445 \u043f\u0430\u0447\u043a\u043e\u0439 \u0432 \u043e\u0434\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438, \u043f\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044e \u0432\u0435\u043d\u0434\u043e\u0440\u0430, \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u042f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u044d\u0442\u043e \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/ae\/68\/6f\/ae686f779c519dd4180e488a5070ac47.png\" alt=\"\u0421\u043e\u0440\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u043e\u0434\u043d\u043e\u0433\u043e\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/ae\/68\/6f\/ae686f779c519dd4180e488a5070ac47.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/ae\/68\/6f\/ae686f779c519dd4180e488a5070ac47.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043e\u0440\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u043e\u0434\u043d\u043e\u0433\u043e<\/figcaption><\/div>\n<\/figure>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">k \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0430\u0447\u043a\u043e\u0439 p50 \/ p90<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0442\u0435\u043c\u0438 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">304 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">1551 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d75<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<td>\n<p align=\"left\">288 \/ 375 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">3140 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d710.9<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">20<\/p>\n<\/td>\n<td>\n<p align=\"left\">304 \/ 404 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">~6 \u0441 (\u0440\u0430\u0441\u0447\u0451\u0442)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d720<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">40<\/p>\n<\/td>\n<td>\n<p align=\"left\">346 \/ 575 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">~12 \u0441 (\u0440\u0430\u0441\u0447\u0451\u0442)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d735<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Latency \u043d\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 \u0434\u043e k = 20. \u041d\u0430 \u0441\u043e\u0440\u043e\u043a\u0430 \u043c\u0435\u0434\u0438\u0430\u043d\u0430 \u043f\u043e\u0434\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u043d\u0430 17%, 90-\u0439 \u043f\u0435\u0440\u0446\u0435\u043d\u0442\u0438\u043b\u044c \u2014 \u0432 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0440\u0430\u0437\u0430: \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u0440\u0435\u0434\u0435\u043b\u0430. \u041d\u043e \u0438 \u0441\u043e\u0440\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u0430\u0447\u043a\u043e\u0439 (346 \u043c\u0441) \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0434\u0432\u043e\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0434\u0432\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u0434\u0440\u044f\u0434 (619 \u043c\u0441). \u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0442\u043a\u0430 \u0434\u043b\u044f 20 \u0438 40 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 (295\u2013315 \u043c\u0441 \u043f\u0440\u0438 \u043b\u044e\u0431\u043e\u043c k, \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u0437\u0430\u043c\u0435\u0440\u043e\u043c \u0434\u043e k = 10).<\/p>\n<p><strong>\u0414\u0435\u043d\u044c\u0433\u0438.<\/strong> <code>state<\/code> \u043e\u043f\u043b\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0432\u043e\u044e \u0441\u0445\u0435\u043c\u0443:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0432\u043e\u043f\u0440\u043e\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043d\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>choice<\/code> \u043d\u0430 8 \u043a\u043b\u0430\u0441\u0441\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">+217 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>score<\/code> \u043d\u0430 4 \u0443\u0440\u043e\u0432\u043d\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">+52<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>noul<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">+43<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043d\u0430 \u043d\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043f\u0430\u0447\u043a\u0438: +49\u2026+68 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0438 \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u0438, \u0438 \u043d\u0430 \u0441\u043e\u0440\u043e\u043a\u0430. \u041e\u0442\u0441\u044e\u0434\u0430 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u0434\u043b\u0438\u043d\u043e\u0439 \u0442\u0435\u043a\u0441\u0442\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u043a \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0439 \u0444\u0440\u0430\u0437\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043a \u043f\u0438\u0441\u044c\u043c\u0443 \u0432 2000 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2 \u0432\u043e\u043f\u0440\u043e\u0441\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">12.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">34.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">53.3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">40 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">74%<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>86%<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u043e\u0440\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u043f\u0438\u0441\u044c\u043c\u0443 \u043f\u0430\u0447\u043a\u043e\u0439 \u2014 4334 \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 32 062 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443, \u0442\u043e \u0435\u0441\u0442\u044c $182 \u043f\u0440\u043e\u0442\u0438\u0432 $1347 \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u043f\u0438\u0441\u0435\u043c.<\/p>\n<p><strong>\u041e\u0442\u0432\u0435\u0442\u044b \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f.<\/strong> \u0412 \u043f\u0430\u0447\u043a\u0430\u0445 \u0434\u043e \u043f\u044f\u0442\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0432\u0441\u0435 \u043f\u044f\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u043b\u0438 \u0441 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 \u043d\u0430 \u0442\u0435 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u2014 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0448\u0443\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043f\u0430\u0447\u043a\u0430\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u0435\u0433\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c 90.0\u201390.2% \u043f\u0440\u043e\u0442\u0438\u0432 90.0% \u0432 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435. \u0418 \u0432\u0441\u0435 1800 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 k = 10\u202640 \u0432\u0435\u0440\u043d\u0443\u043b\u0438 \u043f\u043e\u043b\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u2014 \u0443\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0442. \u0412\u0435\u0440\u043d\u044b \u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 39 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c \u043b\u0438 \u043e\u043d\u0438, \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043f\u0430\u0447\u043a\u0430\u0445 \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c.<\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438: <strong>\u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u0442\u043e\u0438\u0442 ~50 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u043e\u043b\u044c \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434<\/strong> (\u0434\u043e 20 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u043f\u0430\u0447\u043a\u0435). \u0412\u043e\u043f\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u00ab\u043d\u0435 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0436\u043d\u044b, \u0447\u0442\u043e\u0431\u044b \u0437\u0430 \u043d\u0438\u0445 \u043f\u043b\u0430\u0442\u0438\u0442\u044c\u00bb, \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u043a\u0443\u043f\u0430\u044e\u0442\u0441\u044f.<\/p>\n<p>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u0432 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a \u2014 \u043f\u043e\u0434 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430, \u0430 \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u0430 \u043e\u0434\u043d\u0430 \u0442\u044f\u0436\u0451\u043b\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0438 39 \u0434\u0435\u0448\u0451\u0432\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432; \u0441\u043e\u0440\u043e\u043a \u0441\u0445\u0435\u043c \u043f\u043e 30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0443\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0431\u044b \u0432 \u043b\u0438\u043c\u0438\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0423 39 \u0438\u0437 40 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0435\u0442 \u0437\u043e\u043b\u043e\u0442\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438: \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043f\u0430\u0447\u043a\u0430\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u0430 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430.<\/p>\n<h3>5. \u0421\u0445\u0435\u043c\u0430: \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f, \u0438\u043c\u0435\u043d\u0430, \u043f\u043e\u0440\u044f\u0434\u043e\u043a<\/h3>\n<h4>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/h4>\n<p>\u0412 \u0441\u0445\u0435\u043c\u0435 \u0438\u0437 30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0443 \u0442\u0440\u0451\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043d\u0430\u0448\u043b\u0438\u0441\u044c \u0434\u0435\u0444\u0435\u043a\u0442\u044b \u2014 \u043e\u043d\u0438 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044e \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<ul>\n<li>\n<p>\u0432 <code>lightscolor<\/code> \u0431\u044b\u043b\u0430 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u044f\u0440\u043a\u043e\u0441\u0442\u044c, \u0445\u043e\u0442\u044f \u0442\u0435\u043a\u0441\u0442\u044b \u043f\u0440\u043e \u044f\u0440\u043a\u043e\u0441\u0442\u044c \u0432 MASSIVE \u043b\u0435\u0436\u0430\u0442 \u0432 \u0438\u043d\u0442\u0435\u043d\u0442\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0441\u0432\u0435\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0433\u0440\u0430\u043d\u0438\u0446\u0430 <code>defquestion<\/code> \u0441 <code>factquestion<\/code> \u0431\u044b\u043b\u0430 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043d\u0435\u0447\u0451\u0442\u043a\u043e;<\/p>\n<\/li>\n<li>\n<p><code>musiclike<\/code> \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u0430\u043a \u00ab\u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f\u00bb, \u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u044c\u0431\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u043d\u0435\u043d\u0438\u0435 \u043e \u043f\u0435\u0441\u043d\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043e \u0432\u0441\u0435\u0445 \u0442\u0440\u0451\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u043b\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e: \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u043c\u043e\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f, \u0430 \u043d\u0435 \u0435\u0451 \u043e\u0442\u0432\u0435\u0442\u044b. \u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u0434\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u043e\u0441\u043b\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>90.2%<\/strong> (+3.5 \u043f.\u043f., p = 5e-5)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0430\u0441\u0441 <code>lightson<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">15%<\/p>\n<\/td>\n<td>\n<p align=\"left\">95%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0430\u0441\u0441 <code>musiclike<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">60%<\/p>\n<\/td>\n<td>\n<p align=\"left\">85%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u044b \u043d\u0430 \u0442\u043e\u0439 \u0436\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0439\u0434\u0435\u043d\u044b \u0434\u0435\u0444\u0435\u043a\u0442\u044b, \u2014 \u044d\u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u043f\u0440\u0430\u0432\u043a\u0438, \u0430 \u043d\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u044b. \u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u043d\u0430 \u043d\u043e\u0432\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0441\u044f.<\/p>\n<p><strong>\u0422\u0440\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0438\u0437 \u0442\u0440\u0438\u0434\u0446\u0430\u0442\u0438 \u0434\u0430\u043b\u0438 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u0441 gpt-4.1-nano \u043d\u0430 gpt-4.1-mini \u043d\u0430 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435<\/strong> (\u0442\u0430\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0442\u043e\u0436\u0435 3.5 \u043f.\u043f.), \u2014 \u0430 \u043e\u043d \u0441\u0442\u043e\u0438\u0442 \u0432\u043f\u044f\u0442\u0435\u0440\u043e \u0434\u043e\u0440\u043e\u0436\u0435.<\/p>\n<p>\u0418 \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0430\u0441\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u0438 \u0440\u043e\u0443\u0442\u0438\u043d\u0433: \u0434\u043e\u043b\u044f \u043e\u0448\u0438\u0431\u043e\u043a, \u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0432 \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u0435, \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u043e\u0440\u043e\u0433\u0430\u043c \u0441\u0442\u0430\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u0434\u0432\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 (\u043f\u043b\u043e\u0449\u0430\u0434\u044c \u043f\u043e\u0434 \u043a\u0440\u0438\u0432\u043e\u0439 risk-coverage). \u041e\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0438 \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0440\u043e\u0433.<\/p>\n<p>\u041d\u0430\u0448\u0451\u043b \u0434\u0435\u0444\u0435\u043a\u0442\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u043a\u043b\u0430\u0441\u0441 \u0434\u0430\u043b \u0430\u043d\u043e\u043c\u0430\u043b\u044c\u043d\u044b\u0435 15%. \u0411\u043e\u043b\u0435\u0435 \u043c\u044f\u0433\u043a\u0438\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0441\u0435\u0431\u044f \u0442\u0430\u043a \u043d\u0435 \u0432\u044b\u0434\u0430\u044e\u0442. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u0451\u043c: \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0449\u0443\u044e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/26\/e0\/1e\/26e01e33cfde4a1a1dd73ab7dafaa581.png\" alt=\"\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432: \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0435\u0441\u0442\u044c \u0438 \u0447\u0442\u043e \u043e\u043d\u0438 \u0432\u0435\u0440\u043d\u044b\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/26\/e0\/1e\/26e01e33cfde4a1a1dd73ab7dafaa581.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/26\/e0\/1e\/26e01e33cfde4a1a1dd73ab7dafaa581.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432: \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0435\u0441\u0442\u044c \u0438 \u0447\u0442\u043e \u043e\u043d\u0438 \u0432\u0435\u0440\u043d\u044b<\/figcaption><\/div>\n<\/figure>\n<p>\u0427\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p><strong>\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u044b<\/strong>: \u0431\u0435\u0437 \u043d\u0438\u0445, \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u0438\u043c\u0435\u043d\u0430\u043c \u043c\u0435\u0442\u043e\u043a, 84.5%;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0434\u043d\u043e\u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0433\u043b\u0443\u0448\u043a\u0438 \u0445\u0443\u0436\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043d\u0430 1.9 \u043f.\u043f. (\u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u043d\u0430 2400 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445), \u0437\u0430\u0442\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u044f\u0442 770 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u2014 $32 \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439;<\/p>\n<\/li>\n<li>\n<p><strong>\u0441\u0445\u0435\u043c\u0430 \u0441 \u0442\u0440\u0435\u043c\u044f \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u043c\u0430 \u043e\u0442 \u0441\u0445\u0435\u043c\u044b \u0431\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0432\u043e\u043e\u0431\u0449\u0435<\/strong>;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437 \u0432\u0441\u0435\u0445 \u0442\u0440\u0438\u0434\u0446\u0430\u0442\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u043b 8 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438\u0437 600 \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0441\u0434\u0432\u0438\u043d\u0443\u043b: \u0441\u0445\u0435\u043c\u0430 \u043d\u0435 \u0445\u0440\u0443\u043f\u043a\u0430 \u043a \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u043c \u043a\u0430\u043a \u0442\u0430\u043a\u043e\u0432\u044b\u043c. \u041d\u043e \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u2014 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043f\u0440\u0438 \u043f\u0440\u0430\u0432\u043a\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043e\u043d \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043c\u0435\u0436\u0434\u0443 \u00ab\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0435\u0441\u0442\u044c \u0438 \u0432\u0435\u0440\u043d\u043e\u00bb \u0438 \u00ab\u0435\u0433\u043e \u043d\u0435\u0442 \u0438\u043b\u0438 \u043e\u043d\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u00bb, \u0430 \u043d\u0435 \u043c\u0435\u0436\u0434\u0443 \u00ab\u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e\u00bb \u0438 \u00ab\u043f\u043b\u043e\u0445\u043e\u00bb.<\/p>\n<h4>\u0418\u043c\u044f \u043c\u0435\u0442\u043a\u0438: \u0431\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0440\u0435\u0448\u0430\u0435\u0442 \u0432\u0441\u0451, \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u2014 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e<\/h4>\n<p>\u041a\u0430\u043a\u0443\u044e \u0440\u043e\u043b\u044c \u0438\u0433\u0440\u0430\u0435\u0442 \u0441\u0430\u043c\u043e \u0438\u043c\u044f \u043a\u043b\u0430\u0441\u0441\u0430 \u2014 <code>snoozeinfo<\/code>, <code>alarm_query<\/code> \u0438\u043b\u0438 <code>bkw4<\/code>? \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0441\u0445\u0435\u043c\u0443 \u0438\u0437 30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043d\u0430 2400 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0441 \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438 \u0438\u043c\u0451\u043d: \u043c\u043e\u0438 \u043c\u0435\u0442\u043a\u0438, \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432 MASSIVE, \u043c\u043e\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u043f\u043e \u0441\u0445\u0435\u043c\u0435 \u00ab\u0434\u043e\u043c\u0435\u043d_\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u00bb (<code>alarm_ask<\/code>, <code>calendar_add<\/code>) \u0438 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u0434\u044b \u0438\u0437 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u044b\u0445 \u0438 \u0446\u0438\u0444\u0440. \u041a\u0430\u0436\u0434\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u2014 \u0431\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0438 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/ed\/f9\/f0\/edf9f0e7ff349c9d8b4d8e382ba6ce18.png\" alt=\"\u0421 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0438\u043c\u044f \u043c\u0435\u0442\u043a\u0438 \u043d\u0435 \u0432\u0430\u0436\u043d\u043e \u2014 \u0434\u0430\u0436\u0435 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0435\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/ed\/f9\/f0\/edf9f0e7ff349c9d8b4d8e382ba6ce18.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/ed\/f9\/f0\/edf9f0e7ff349c9d8b4d8e382ba6ce18.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0438\u043c\u044f \u043c\u0435\u0442\u043a\u0438 \u043d\u0435 \u0432\u0430\u0436\u043d\u043e \u2014 \u0434\u0430\u0436\u0435 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0435<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u0421 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0438\u043c\u044f \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0431\u0449\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0434\u0430\u0436\u0435 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0435.<\/strong> \u041f\u0440\u043e\u0442\u0438\u0432 \u043c\u043e\u0438\u0445 \u043c\u0435\u0442\u043e\u043a \u043f\u0440\u0438 \u0442\u0435\u0445 \u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u0445: \u0438\u043c\u0435\u043d\u0430 MASSIVE \u22120.15 \u043f.\u043f. [\u22120.73; +0.42], \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u22120.38 [\u22120.85; +0.10], \u043a\u043e\u0434\u044b \u22120.19 [\u22120.75; +0.35]. \u0414\u0430\u043d\u043d\u044b\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0441\u0434\u0432\u0438\u0433 \u043e\u0431\u0449\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 1 \u043f.\u043f. \u0432 \u043b\u044e\u0431\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u0441\u0434\u0432\u0438\u043d\u0443\u043b\u0430\u0441\u044c. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0440\u0430\u0445\u0443\u0435\u0442: <code>musicinfo<\/code> \u0441 \u043a\u043e\u0434\u043e\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u043c\u0435\u043d\u0438 \u043f\u043e\u0442\u0435\u0440\u044f\u043b 13.8 \u043f.\u043f. (80 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432) \u2014 \u043f\u043e\u0445\u043e\u0436\u0435, \u0438\u043c\u044f \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0445\u043e\u0432\u044b\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441 \u0441 \u0440\u0430\u0437\u043c\u044b\u0442\u044b\u043c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c. \u041c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u043c\u0435\u0441\u0442\u043e <code>setmeeting<\/code> \u0434\u0430\u043b\u0438 <code>bkw4<\/code>, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a \u0436\u0435, \u0435\u0441\u043b\u0438 \u0440\u044f\u0434\u043e\u043c \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043a\u043b\u0430\u0441\u0441.<\/p>\n<p><strong>\u0411\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0438\u043c\u044f \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435.<\/strong> \u041a\u043e\u0434\u044b \u0431\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0434\u0430\u044e\u0442 3.1% \u2014 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438 30 \u043a\u043b\u0430\u0441\u0441\u0430\u0445. \u041f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u043b\u0443\u0447\u0448\u0435 \u043c\u043e\u0438\u0445 \u043c\u0435\u0442\u043e\u043a \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 3 \u043f.\u043f., \u043d\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u043b\u0438 \u0432 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b: \u0443 \u0448\u0435\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438\u0437 \u0442\u0440\u0438\u0434\u0446\u0430\u0442\u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 10 \u043f.\u043f. <code>alarm_ask<\/code> \u043b\u0443\u0447\u0448\u0435 <code>snoozeinfo<\/code> \u043d\u0430 87.5 \u043f.\u043f., \u0430 <code>calendar_add<\/code> \u0445\u0443\u0436\u0435 <code>setmeeting<\/code> \u043d\u0430 20.6. \u0423\u0433\u0430\u0434\u0430\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435, \u043a\u0430\u043a\u043e\u0435 \u0438\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0435\u0442 \u00ab\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u00bb, \u043d\u0435\u043b\u044c\u0437\u044f. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438\u043c\u0435\u043d\u0438 \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u2014 <code>sendmail<\/code>, <code>lightsoff<\/code>, <code>fxrate<\/code>, <code>droplistitem<\/code>, <code>mathquestion<\/code>: \u0431\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043e\u043d\u0438 \u043d\u0430 97\u201399 \u043f.\u043f. \u043b\u0443\u0447\u0448\u0435 \u043a\u043e\u0434\u043e\u0432.<\/p>\n<p>\u041f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u2014 <code>snoozeinfo<\/code>. \u042d\u0442\u043e \u0438\u043c\u044f \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u0441\u0430\u043c, \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u0432 \u0438\u043d\u0442\u0435\u043d\u0442 <code>alarm_query<\/code> \u0438\u0437 MASSIVE. \u0411\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0439 \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u043a\u0438 \u0441\u0442\u043e\u0438\u043b\u043e \u043a\u043b\u0430\u0441\u0441\u0443 92 \u043f.\u043f.: \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 4\u20135 \u0432\u0435\u0440\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438\u0437 80 \u043f\u0440\u043e\u0442\u0438\u0432 78 \u0438\u0437 80. \u041e\u0448\u0438\u0431\u043a\u0438 \u0443\u0445\u043e\u0434\u044f\u0442 \u0432 <code>showlist<\/code> (95 \u0438\u0437 160 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0437\u0430 \u043e\u0431\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430) \u0438 <code>wakeup<\/code> (36). \u0421 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u0435\u0442 \u0432\u043e\u0432\u0441\u0435: 78 \u0438\u0437 80 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445, \u043d\u0438 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0435 \u0441\u043c\u0435\u043d\u0438\u043b \u043f\u0440\u0430\u0432\u043e\u0442\u0443.<\/p>\n<p><strong>\u041f\u0440\u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0435 \u0438\u043c\u0435\u043d\u0438 \u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u043e\u0431\u0435\u0436\u0434\u0430\u0435\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435.<\/strong> \u042f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u0438\u043b \u0438\u043c\u0435\u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u0433\u0440\u0443\u043f\u043f \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043d\u0430 \u043c\u0435\u0441\u0442\u0430\u0445: \u043a\u043b\u0430\u0441\u0441 \u00ab\u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043f\u0440\u043e \u0431\u0443\u0434\u0438\u043b\u044c\u043d\u0438\u043a\u00bb \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0438\u043c\u044f <code>wakeup<\/code>, \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0448\u043b\u0430 \u0437\u0430 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u0432 89.5% \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0437\u0430 \u0438\u043c\u0435\u043d\u0435\u043c \u2014 \u0432 1.9%; \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 0.8 \u043f.\u043f. \u0426\u0435\u043d\u0430 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430 \u2014 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c: \u043e\u043d\u0430 \u0443\u043f\u0430\u043b\u0430 \u043d\u0430 0.017, \u0438 \u0434\u043e\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043d\u0435 \u043f\u0440\u043e\u0448\u0435\u0434\u0448\u0438\u0445 \u043f\u043e\u0440\u043e\u0433 0.9, \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 17.4% \u0434\u043e 20.8%. \u041f\u043e\u0440\u043e\u0433 \u043f\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442 \u0437\u0430\u043c\u0435\u0442\u0438\u0442 \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438: <strong>\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b, \u0430 \u0438\u043c\u0435\u043d\u0430 \u043f\u0440\u0438 \u043d\u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u0437 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430<\/strong> \u2014 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u043b\u043e\u0433\u043e\u0432, \u0441\u0442\u0438\u043b\u044f \u043a\u043e\u0434\u0430, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041d\u043e \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c. \u0411\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0438\u043c\u044f \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435, \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0438 \u0437\u0430\u043c\u0435\u0440\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u043c\u0435\u0440 \u0441\u0434\u0435\u043b\u0430\u043d \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0434\u043e\u043c\u0435\u043d\u0435 \u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u0435. \u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432 MASSIVE \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u0432\u0438\u0434\u0435\u0442\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u0415\u0441\u043b\u0438 \u0431\u044b \u043e\u043d\u0430 \u0438\u0445 \u0437\u0430\u0443\u0447\u0438\u043b\u0430, \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u044d\u0442\u0438\u0445 \u0438\u043c\u0451\u043d \u0431\u044b\u043b \u0431\u044b \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430 <code>train<\/code>, \u0447\u0435\u043c \u043d\u0430 <code>test<\/code>. \u0411\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043e\u043d \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430 <code>train<\/code> \u043d\u0430 +0.61 \u043f.\u043f. [\u22122.42; +3.58]: \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u043b\u044c, \u0442\u0430\u043a \u0447\u0442\u043e \u0437\u0430\u0443\u0447\u0438\u0432\u0430\u043d\u0438\u0435 \u043d\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u043e, \u043d\u043e \u0438 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e. \u0411\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441 \u0438\u043c\u0435\u043d\u0430\u043c\u0438 MASSIVE \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0441 \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0438\u043c\u0435\u043d\u0430\u043c\u0438, \u043d\u0430 0.012. \u0421 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u043f\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e <code>musicinfo<\/code> (\u221213.8 \u043f.\u043f. \u0441 \u043a\u043e\u0434\u043e\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u043c\u0435\u043d\u0438, 80 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0431\u0435\u0437 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c): \u0435\u0433\u043e \u043e\u0448\u0438\u0431\u043a\u0438 \u0443\u0445\u043e\u0434\u044f\u0442 \u0432 <code>factquestion<\/code>.<\/p>\n<\/div>\n<\/details>\n<h4>\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u043b<\/h4>\n<p>\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u043a\u043b\u044e\u0447\u0435\u0439 \u0432 <code>criteria<\/code> \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u2014 \u043a\u043b\u0430\u0441\u0441\u044b \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0442\u0443\u0434\u0430 \u0432 \u0442\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435, \u0432 \u043a\u0430\u043a\u043e\u043c \u0438\u0445 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438. \u0427\u0435\u0442\u044b\u0440\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 (\u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439, \u0440\u0430\u0437\u043d\u0435\u0441\u0435\u043d\u0438\u0435 \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432) \u043c\u0435\u043d\u044f\u044e\u0442 1\u20132% \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043f\u0440\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0448\u0443\u043c\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 0.47%, \u043d\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0434\u0432\u0438\u0433\u0430\u044e\u0442 \u043d\u0438\u0433\u0434\u0435: \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u043e\u0442\u044b \u0438\u0434\u0443\u0442 \u0432 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b. \u041a\u043b\u0430\u0441\u0441 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0445\u0435\u043c\u044b \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u043f\u0435\u0440\u0435\u0434 \u043a\u043b\u0430\u0441\u0441\u043e\u043c \u0432 \u043a\u043e\u043d\u0446\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442.<\/p>\n<p>\u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430, \u0447\u0442\u043e \u043f\u0443\u0442\u0430\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 \u043f\u043e\u0434\u043e\u0433\u0440\u0435\u0432\u0430\u0435\u0442 \u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0441\u0442\u0432\u043e \u0432 \u0441\u0445\u0435\u043c\u0435, <strong>\u043d\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0430\u0441\u044c<\/strong>: \u0443\u0441\u043b\u043e\u0432\u0438\u0435, \u0440\u0430\u0437\u043d\u043e\u0441\u0438\u0432\u0448\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u0430\u043b\u0435\u043a\u043e, \u0434\u0430\u043b\u043e \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435.<\/p>\n<h4>\u0421\u0430\u043c\u044b\u0439 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 \u2014 \u0430\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440 \u043e\u0448\u0438\u0431\u043e\u043a<\/h4>\n<p>\u041e\u0448\u0438\u0431\u043a\u0438 \u0441\u0442\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0432 \u043a\u043b\u0430\u0441\u0441\u044b \u0441 \u0441\u0430\u043c\u043e\u0439 \u043e\u0431\u0449\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u043e\u0439: \u043d\u0430 30 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u2014 \u0432 <code>factquestion<\/code> (121 \u043e\u0448\u0438\u0431\u043a\u0430), <code>lightscolor<\/code> (75), <code>defquestion<\/code> (63); \u0432 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u043f\u043e\u0434 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u2014 \u0432 <code>malfunction<\/code>. \u042d\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0445\u0435\u043c\u044b: \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 \u00ab\u043f\u0440\u043e \u0432\u0441\u0451\u00bb \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0447\u0443\u0436\u043e\u0439 \u0442\u0440\u0430\u0444\u0438\u043a.<\/p>\n<h3>6. \u0422\u0438\u043f\u044b \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432: \u043d\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0442\u0438\u043f \u043c\u0435\u043d\u044f\u043b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u0430\u0431\u043e<\/h3>\n<p>\u0423 Jev \u0442\u0440\u0438 \u0442\u0438\u043f\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043e \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b payload \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0438\u043f\u043e\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u044b\u0432\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BoolQ, <code>noul<\/code> \u043f\u0440\u043e\u0442\u0438\u0432 <code>choice<\/code> \u0438\u0437 \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.7% \u043f\u0440\u043e\u0442\u0438\u0432 91.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Yelp, <code>score<\/code> \u043f\u0440\u043e\u0442\u0438\u0432 <code>choice<\/code> \u0438\u0437 \u043f\u044f\u0442\u0438 \u0437\u0432\u0451\u0437\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043e\u0448\u0438\u0431\u043a\u0430 0.389 \u043f\u0440\u043e\u0442\u0438\u0432 0.399 \u0437\u0432\u0435\u0437\u0434\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>score<\/code> \u0442\u043e\u0447\u043d\u0435\u0435 \u043d\u0430 \u0441\u043e\u0442\u044b\u0435 \u0434\u043e\u043b\u0438 \u0437\u0432\u0435\u0437\u0434\u044b<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0438\u043f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442. \u0412\u0430\u0436\u043d\u0435\u0435 \u0444\u043e\u0440\u043c\u0430 \u043e\u0442\u0432\u0435\u0442\u0430:<\/p>\n<ul>\n<li>\n<p><code><strong>noul<\/strong><\/code><strong> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u0435 \u0431\u0443\u043b\u0435\u0432 \u043e\u0442\u0432\u0435\u0442, \u0430 \u043e\u0434\u043d\u043e \u0447\u0438\u0441\u043b\u043e \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u00ab\u0434\u0430\u00bb<\/strong>; \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 \u00ab\u043d\u0435\u0442\u00bb \u2014 \u044d\u0442\u043e <code>1 \u2212 p<\/code>. \u041d\u0430 BoolQ \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c: \u0441\u0440\u0435\u0434\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 0.95\u20131.00 \u0432\u0435\u0440\u043d\u044b\u0445 99.3%, \u0441\u0440\u0435\u0434\u0438 0.60\u20130.70 \u2014 68%. \u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043b\u0438 \u0432\u0435\u0440\u043d\u044b\u0445 \u043d\u0430 3 \u043f.\u043f. \u041f\u043e\u0440\u043e\u0433 \u043f\u043e \u0441\u0430\u043c\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443 \u2014 \u0433\u043e\u0442\u043e\u0432\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430.<\/p>\n<\/li>\n<li>\n<p><code><strong>score<\/strong><\/code><strong> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0443\u0440\u043e\u0432\u043d\u044f<\/strong>, \u0430 \u043d\u0435 \u0432\u044b\u0431\u043e\u0440. \u041e\u043d\u043e \u0442\u044f\u043d\u0435\u0442\u0441\u044f \u043a \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u0448\u043a\u0430\u043b\u044b (\u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0437\u0430\u0432\u044b\u0448\u0430\u044e\u0442\u0441\u044f \u0434\u043e 1.16, \u043f\u044f\u0442\u0451\u0440\u043a\u0438 \u0437\u0430\u043d\u0438\u0436\u0430\u044e\u0442\u0441\u044f \u0434\u043e 4.83), \u043f\u0440\u0438\u0447\u0451\u043c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0443 <code>score<\/code> \u0438 <code>choice<\/code> \u2014 \u044d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0443\u0436\u043d\u0430 \u0437\u0432\u0435\u0437\u0434\u0430 \u2014 \u0431\u0435\u0440\u0438\u0442\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f; \u043d\u0443\u0436\u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u043e\u0442\u043e\u043a\u0430 \u2014 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u043f\u043e\u0432\u0442\u043e\u0440\u0443 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f.<\/strong> \u0414\u0432\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0443 <code>noul<\/code> \u043d\u0430 0 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 600, \u0443 <code>choice<\/code> \u043d\u0430 2\u20134, \u0443 <code>score<\/code> \u043d\u0430 18: \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 <code>score<\/code> \u2014 \u044d\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0438 \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043e\u043d \u043f\u0440\u044b\u0433\u0430\u0435\u0442 \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435.<\/p>\n<\/li>\n<\/ul>\n<h3>7. \u0422\u043e\u043a\u0435\u043d\u044b Jev \u2014 \u043d\u0435 \u0442\u043e\u043a\u0435\u043d\u044b LLM<\/h3>\n<p>\u0423 Jev \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f, \u0438 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u0430\u044f \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u00ab32k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e-\u0442\u043e \u0442\u0435\u043a\u0441\u0442\u0430\u00bb \u0437\u0434\u0435\u0441\u044c \u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u0435\u0442.<\/p>\n<ul>\n<li>\n<p><strong>\u0422\u043e\u0442 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441\u0442\u043e\u0438\u0442 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/strong> \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f: 553 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430 \u0443 Jev \u043f\u0440\u043e\u0442\u0438\u0432 269 \u0443 gpt-4.1-*. \u0411\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0441\u0445\u0435\u043c\u0430: 10 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u2014 536 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 30 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u2014 1511 (\u0437\u0430\u043f\u0440\u043e\u0441 \u0434\u043e\u0440\u043e\u0436\u0430\u0435\u0442 \u0432 2.8 \u0440\u0430\u0437\u0430). \u0422\u043e\u043a\u0435\u043d\u044b \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043d\u0434\u043e\u0440\u0430\u043c\u0438 \u043d\u0435\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b \u2014 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0430\u0434\u043e \u0434\u0435\u043d\u044c\u0433\u0438 \u0437\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u2014 \u043e\u043a\u043e\u043b\u043e 33 \u0442\u044b\u0441. \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e<\/strong>, \u0442\u043e \u0435\u0441\u0442\u044c ~32.5 \u0442\u044b\u0441. \u043d\u0430 <code>state<\/code> \u0437\u0430 \u0432\u044b\u0447\u0435\u0442\u043e\u043c \u0441\u0445\u0435\u043c\u044b. \u0412 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0437\u0435 \u044d\u0442\u043e ~148 \u0442\u044b\u0441. \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u0430 \u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435, \u043f\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0443 \u043d\u0438\u0436\u0435, \u2014 \u043b\u0438\u0448\u044c \u043e\u043a\u043e\u043b\u043e 45 \u0442\u044b\u0441.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u0442\u043e\u043a\u0435\u043d\u0435, \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u0438\u043f\u0430 \u0442\u0435\u043a\u0441\u0442\u0430<\/strong> \u2014 \u043e\u0442 4.6 \u0443 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0437\u044b \u0434\u043e 1.4 \u0443 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430:<\/p>\n<\/li>\n<\/ul>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/3f\/14\/bc\/3f14bcba1256d6507a0d512fa02f5655.png\" alt=\"\u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0441\u044f Jev \u0432 3.3 \u0440\u0430\u0437\u0430 \u0434\u043e\u0440\u043e\u0436\u0435 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/3f\/14\/bc\/3f14bcba1256d6507a0d512fa02f5655.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/3f\/14\/bc\/3f14bcba1256d6507a0d512fa02f5655.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0441\u044f Jev \u0432 3.3 \u0440\u0430\u0437\u0430 \u0434\u043e\u0440\u043e\u0436\u0435 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e<\/figcaption><\/div>\n<\/figure>\n<ul>\n<li>\n<p><strong>\u041d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0432\u0445\u043e\u0434\u0430\u0445 \u044f\u0437\u044b\u043a \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0446\u0435\u043d\u0443<\/strong>: 536 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0443 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0442\u0438\u0432 538\u2013539 \u0443 \u0434\u0440\u0443\u0433\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u2014 \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u0435\u0442 \u0441\u0445\u0435\u043c\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u043c\u043e\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u0430\u0445 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430<\/strong> (R\u00b2 = 0.99997, \u0431\u0435\u0437 \u0438\u0437\u043b\u043e\u043c\u043e\u0432), \u0438 <code>input_tokens<\/code> \u0440\u0430\u0441\u0442\u0451\u0442 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e \u0434\u043e \u0441\u0430\u043c\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u2014 \u043f\u043b\u0430\u0442\u043e \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0438\u0445\u043e\u0433\u043e \u0443\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u044f \u043d\u0435 \u043d\u0430\u0448\u0451\u043b.<\/strong> \u0412\u0441\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0432\u0435\u0440\u0445 \u043b\u0438\u043c\u0438\u0442\u0430 \u0432\u0435\u0440\u043d\u0443\u043b\u0438 \u0447\u0435\u0441\u0442\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 <code>HTTP 400<\/code> <code>max_tokens_exceeded<\/code>, \u0430 \u043d\u0435 \u043e\u0431\u0440\u0435\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u0435\u043d<\/strong>: JSON-\u043e\u0431\u044a\u0435\u043a\u0442 \u0432 <code>state<\/code> \u0434\u043e\u0440\u043e\u0436\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u043d\u0430 0.6%, \u043c\u0430\u0441\u0441\u0438\u0432 \u2014 \u043d\u0430 1.7%.<\/p>\n<\/li>\n<\/ul>\n<h3>8. \u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442: \u0432\u0440\u0435\u0434\u0438\u0442 \u0441\u0440\u0430\u0437\u0443, \u0430 \u043d\u0435 \u0443 \u043b\u0438\u043c\u0438\u0442\u0430<\/h3>\n<p>\u0412\u0435\u043d\u0434\u043e\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0438\u0448\u0435\u0442, \u0447\u0442\u043e Jev \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d context rot (\u00abAccuracy falls as the state grows with content unrelated to the decision\u00bb), \u043d\u043e \u0431\u0435\u0437 \u0446\u0438\u0444\u0440 \u0438 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438, \u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u043d\u0435 \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u0442 \u0432\u043e\u0432\u0441\u0435. \u042f \u0432\u0437\u044f\u043b 280 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0438\u0445 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0431\u0435\u0440\u043d\u0443\u043b \u043a\u0430\u0436\u0434\u043e\u0435 \u0432 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0439 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u2014 \u043f\u0440\u0438\u0440\u043e\u0434\u0430, \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u0443\u043b\u0438\u043d\u0430\u0440\u0438\u044f, \u0431\u0435\u0437 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u0438. \u0422\u0435\u043a\u0441\u0442 \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441\u0432\u043e\u0439 \u0438 \u0441\u043e\u0431\u0440\u0430\u043d \u0438\u0437 \u0446\u0435\u043b\u044b\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u0438\u043d\u044b \u2014 \u043e\u0442 700 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 (\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u043d\u0430 \u043f\u043e\u0434\u043f\u0438\u0441\u044c \u043f\u0438\u0441\u044c\u043c\u0430) \u0434\u043e 145 000 (\u0443 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430). \u0421\u0430\u043c\u043e \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0432\u0438\u043b\u043e\u0441\u044c \u0432 \u043d\u0430\u0447\u0430\u043b\u043e, \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0443 \u0438\u043b\u0438 \u0432 \u043a\u043e\u043d\u0435\u0446. Jev \u043f\u0440\u043e\u0433\u043d\u0430\u043d \u0434\u0432\u0430\u0436\u0434\u044b, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u2014 gpt-4.1-mini \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u0432\u0445\u043e\u0434\u0430\u0445 \u0431\u0430\u0439\u0442 \u0432 \u0431\u0430\u0439\u0442, \u0434\u043e 40 000 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.<\/p>\n<blockquote>\n<p><strong>\u0427\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c.<\/strong> \u041a\u043e\u0440\u043e\u0442\u043a\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u0431\u0430\u043d\u043a\u0430 \u2014 \u043e\u0434\u043d\u0430-\u0434\u0432\u0435 \u0444\u0440\u0430\u0437\u044b, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u00abtyped it wrong too many times at the atm and now its locked, how do i fix\u00bb \u2014 \u043a\u043b\u0430\u0441\u0441 <code>pin<\/code>. \u042d\u0442\u043e \u0432\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043d\u0443\u0436\u043d\u0430\u044f \u0434\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u0430. \u0412\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0432 <code>state<\/code> \u2014 \u043d\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c: \u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442, \u043d\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u0439 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043a \u0437\u0430\u0434\u0430\u0447\u0435. \u0422\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0445\u043e\u0434, \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u0430\u044f \u0444\u0440\u0430\u0437\u0430 \u0442\u043e\u043d\u0435\u0442 \u0432 \u043f\u043e\u0434\u043f\u0438\u0441\u0438, \u0446\u0438\u0442\u0430\u0442\u0435 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0438 \u0438\u043b\u0438 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0434\u0438\u0430\u043b\u043e\u0433\u0430.<\/p>\n<\/blockquote>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/d8\/d3\/2a\/d8d32a475c5a82615115e11e9d58a861.png\" alt=\"\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0431\u044a\u0451\u043c\u0430 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/d8\/d3\/2a\/d8d32a475c5a82615115e11e9d58a861.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/d8\/d3\/2a\/d8d32a475c5a82615115e11e9d58a861.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0431\u044a\u0451\u043c\u0430 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0434\u0432\u0443\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c Jev:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043d\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c, \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432 \u043a\u043e\u043d\u0446\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0 (\u0431\u0430\u0437\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>96.8%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">700<\/p>\n<\/td>\n<td>\n<p align=\"left\">94.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">92.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">92.1%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2 000<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">92.7%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">10 000<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.0%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">40 000<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.4%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">145 000<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">91.8%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/6b\/95\/b6\/6b95b65c6657e54a7db43b8ded075c5e.png\" alt=\"Jev \u0442\u0435\u0440\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0443\u0436\u0435 \u0441 700 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u0443 gpt-4.1-mini \u0432\u0440\u0435\u0434 \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/6b\/95\/b6\/6b95b65c6657e54a7db43b8ded075c5e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/6b\/95\/b6\/6b95b65c6657e54a7db43b8ded075c5e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Jev \u0442\u0435\u0440\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0443\u0436\u0435 \u0441 700 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u0443 gpt-4.1-mini \u0432\u0440\u0435\u0434 \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d<\/figcaption><\/div>\n<\/figure>\n<ul>\n<li>\n<p><strong>\u0412\u0440\u0435\u0434 \u0432\u0438\u0434\u0435\u043d \u0441\u0440\u0430\u0437\u0443.<\/strong> \u0423\u0436\u0435 700 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u0442\u043e\u044f\u0442 Jev 4 \u043f.\u043f. \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (\u22124.05 [\u22126.25; \u22121.96]). \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u0434 \u043f\u043e \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u043c \u043e\u0446\u0435\u043d\u043a\u0430\u043c \u0440\u0430\u0441\u0442\u0451\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u2014 \u0434\u043e \u22126.1 \u043f.\u043f. \u043d\u0430 145 000 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u043f\u043e \u0434\u043b\u0438\u043d\u0430\u043c \u043f\u043e\u0447\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f. \u041f\u043e\u0440\u043e\u0433\u0430 \u00ab\u043f\u043e\u0441\u043b\u0435 N \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u043b\u043e\u0445\u043e\u00bb \u043d\u0435\u0442: \u043f\u043b\u043e\u0445\u043e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0439 \u0436\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0423 gpt-4.1-mini \u0432\u0440\u0435\u0434 \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d<\/strong> \u043d\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435. \u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e \u044f\u0447\u0435\u0439\u043a\u0430\u043c 2 000\u201340 000: Jev \u22125.1 \u043f.\u043f., GPT \u22120.5 \u043f.\u043f. [\u22122.0; +1.0], \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u22124.6 \u043f.\u043f. [\u22127.4; \u22122.0], p = 0.004 \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438: <strong>\u0447\u0438\u0441\u0442\u043a\u0430 \u0432\u0445\u043e\u0434\u0430 \u0432\u0430\u0436\u043d\u0435\u0435 \u0431\u0435\u0441\u043f\u043e\u043a\u043e\u0439\u0441\u0442\u0432\u0430 \u043e \u043b\u0438\u043c\u0438\u0442\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/strong> \u041b\u0438\u043c\u0438\u0442 Jev \u0447\u0435\u0441\u0442\u043d\u044b\u0439 (\u0440\u0430\u0437\u0434\u0435\u043b 7), \u0430 \u0432\u0440\u0435\u0434 \u043e\u0442 \u043f\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0435\u0433\u043e.<\/p>\n<p><strong>\u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 \u2014 \u0442\u0440\u0443\u0434\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b.<\/strong> \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440 \u043f\u043e\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e \u0443 \u043b\u0451\u0433\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0442\u043e\u0433\u043e \u0436\u0435 \u0434\u043e\u043c\u0435\u043d\u0430 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043d\u0435\u0442 \u0432\u043e\u0432\u0441\u0435 \u2014 \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u043c\u0435\u043d\u044b \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 120 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445. \u041d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u0445 MASSIVE \u043f\u043e\u0442\u0435\u0440\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e \u0434\u043e 3000 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 (\u0431\u043e\u043b\u044c\u0448\u0435 ~2 \u043f.\u043f. \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u043e) \u2014 \u043d\u0438 \u043f\u0440\u0438 10 \u043a\u043b\u0430\u0441\u0441\u0430\u0445, \u043d\u0438 \u043f\u0440\u0438 30. \u0422\u0440\u0443\u0434\u043d\u044b\u0435 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043d\u0430 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043b\u043e\u0432\u0443\u0448\u043a\u0430\u0445 \u2014 \u0441\u043b\u043e\u0432\u0430\u0445 \u0447\u0443\u0436\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u0442\u0435\u043c \u043e\u0442\u0440\u0438\u0446\u0430\u0435\u0442 (\u00abNo fraud, no theft, no refund needed. Locked out by my own bad memory\u00bb). \u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f, \u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430: \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0440\u0430\u0437\u043c\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u043d\u0438\u0435. \u0427\u0438\u0441\u043b\u043e \u00ab\u22125 \u043f.\u043f.\u00bb \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u2014 \u043c\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0434\u043e \u043d\u0430 \u0441\u0432\u043e\u0435\u0439.<\/p>\n<h4>\u041f\u043e\u0437\u0438\u0446\u0438\u044f: \u043d\u0430\u0447\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e<\/h4>\n<p>\u0423 LLM \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u044d\u0444\u0444\u0435\u043a\u0442 lost in the middle: \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0446\u0435, \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0440\u0438\u0441\u0443\u0435\u0442 U-\u043e\u0431\u0440\u0430\u0437\u043d\u0443\u044e \u043a\u0440\u0438\u0432\u0443\u044e (Liu et al., 2023, <a href=\"https:\/\/arxiv.org\/abs\/2307.03172\" rel=\"noopener nofollow\">arXiv:2307.03172<\/a>; <a href=\"https:\/\/valmat.ru\/posts\/2025\/08\/lost-in-the-middle\/Lost_in_the_Middle-2307.03172v3-en.pdf\" rel=\"noopener nofollow\">PDF \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430<\/a>, <a href=\"https:\/\/valmat.ru\/posts\/2025\/08\/lost-in-the-middle\/Lost_in_the_Middle-2307.03172v3-ru.pdf\" rel=\"noopener nofollow\">PDF \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439<\/a>). \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u2014 \u0435\u0441\u0442\u044c \u043b\u0438 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435 \u0443 System One-\u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/e1\/81\/9e\/e1819e5afe2b7735d573449aca843f82.png\" alt=\"\u041f\u043e\u0437\u0438\u0446\u0438\u044f \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f: \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/e1\/81\/9e\/e1819e5afe2b7735d573449aca843f82.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/e1\/81\/9e\/e1819e5afe2b7735d573449aca843f82.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e\u0437\u0438\u0446\u0438\u044f \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f: \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c<\/figcaption><\/div>\n<\/figure>\n<ul>\n<li>\n<p><strong>\u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c Jev \u0432\u044b\u0448\u0435 \u0432\u0441\u0435\u0433\u043e, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0441\u0442\u043e\u0438\u0442 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435.<\/strong> \u0421\u0435\u0440\u0435\u0434\u0438\u043d\u0430 \u043d\u0438\u0436\u0435 \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430 0.033 [0.023; 0.045], \u043a\u043e\u043d\u0435\u0446 \u2014 \u043d\u0430 0.024; \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430 \u043d\u0438\u0436\u0435 \u043a\u043e\u043d\u0446\u0430 \u043d\u0430 0.009. \u0412\u0441\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0437\u043d\u0430\u0447\u0438\u043c\u044b \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438. \u042d\u0442\u043e \u043d\u0435 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f U-\u0444\u043e\u0440\u043c\u0430 \u00ab\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430 \u0445\u0443\u0436\u0435 \u043a\u0440\u0430\u0451\u0432\u00bb, \u0430 \u0441\u043a\u043e\u0440\u0435\u0435 <strong>\u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0447\u0430\u043b\u0430<\/strong>: primacy \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 recency.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u044d\u0444\u0444\u0435\u043a\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043d\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d.<\/strong> \u0423 Jev \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430 \u0445\u0443\u0436\u0435 \u043a\u0440\u0430\u0451\u0432 \u043d\u0430 1.8\u20131.9 \u043f.\u043f., \u043d\u043e \u043d\u0438 \u043e\u0434\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0435 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c; \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0442 \u043d\u0443\u043b\u044f \u0434\u043e ~4 \u043f.\u043f. \u0423 gpt-4.1-mini \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d \u0432\u043e\u0432\u0441\u0435. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 lost in the middle \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u044f \u043d\u0435 \u0443\u0432\u0438\u0434\u0435\u043b \u043d\u0438 \u0443 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u0438\u0434\u043d\u0430 \u0432 \u0445\u0432\u043e\u0441\u0442\u0435.<\/strong> \u0415\u0441\u043b\u0438 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435, \u043f\u043e\u0440\u043e\u0433 0.9 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 20% \u043e\u0442\u0432\u0435\u0442\u043e\u0432 Jev; \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0446\u0435 \u2014 \u043f\u043e 27%. \u0423 \u0441\u0430\u043c\u044b\u0445 \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 10% \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0438\u0436\u0435 0.72, 0.59 \u0438 0.64 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u042d\u0442\u043e \u0442\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u044e\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u043e\u0440\u043e\u0433.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438: <strong>\u0435\u0441\u043b\u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u0445\u043e\u0434\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442, \u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0430\u043c\u043e \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u043e <\/strong><code><strong>state<\/strong><\/code><strong>, \u0430 \u0446\u0438\u0442\u0430\u0442\u044b, \u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u0438 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0438 \u2014 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0433\u043e<\/strong>, \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u0430 \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u043f\u043e\u0440\u043e\u0433\u0435. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a \u0432\u044b\u0448\u0435, \u043d\u043e \u0447\u0442\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0432\u0435\u0440\u043d\u044b, \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043e.<\/p>\n<h3>9. \u0413\u0440\u044f\u0437\u043d\u044b\u0439 \u0432\u0445\u043e\u0434: \u043e\u043f\u0430\u0441\u0435\u043d \u043d\u0435 \u043e\u0431\u044a\u0451\u043c, \u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h3>\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043f\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0431\u044b\u043b \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c: \u043f\u0440\u0438\u0440\u043e\u0434\u0430, \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u0443\u043b\u0438\u043d\u0430\u0440\u0438\u044f. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u043c\u0443\u0441\u043e\u0440 \u0434\u0440\u0443\u0433\u043e\u0439. \u0415\u0441\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0438\u0437 \u043f\u043e\u0447\u0442\u044b \u0438\u043b\u0438 \u0447\u0430\u0442\u0430, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c\u0443 \u043f\u0440\u043e\u0441\u044c\u0431\u0443 \u043a\u043b\u0438\u0435\u043d\u0442\u0430, \u043d\u043e \u0438 \u0432\u0441\u0451, \u0447\u0442\u043e \u043a \u043d\u0435\u0439 \u043f\u0440\u0438\u043b\u0438\u043f\u043b\u043e. \u041f\u0438\u0441\u044c\u043c\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043d\u0435 \u0432 \u0447\u0438\u0441\u0442\u043e\u043c \u0432\u0438\u0434\u0435: \u043f\u043e\u0434\u043f\u0438\u0441\u044c, \u043f\u0440\u043e\u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0440\u0435\u0434, HTML-\u043e\u0431\u0432\u044f\u0437\u043a\u0430 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0438, \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0438, \u044d\u043c\u043e\u0434\u0437\u0438. \u041a\u0430\u0436\u0434\u0443\u044e \u043f\u043e\u0440\u0447\u0443 \u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b <strong>\u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0447\u0438\u0441\u0442\u044b\u043c \u0432\u0445\u043e\u0434\u043e\u043c, \u043d\u043e \u0438 \u0441 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0439 \u0436\u0435 \u0434\u043b\u0438\u043d\u044b<\/strong> \u2014 \u0438\u043d\u0430\u0447\u0435 \u0437\u0430\u043c\u0435\u0440 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b \u0431\u044b \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0440\u0430\u0437\u0434\u0435\u043b.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u043e\u0440\u0447\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u043e\u0442\u0438\u0432 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0441\u0432\u0435\u0440\u0445 \u0441\u0432\u043e\u0435\u0439 \u0434\u043b\u0438\u043d\u044b<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043a\u0443\u0434\u0430 \u0443\u0445\u043e\u0434\u044f\u0442 \u0441\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u044b<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0438 (12% \u0431\u0443\u043a\u0432)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u22124.8 \u043f.\u043f.<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014 (\u0434\u043b\u0438\u043d\u0430 \u0442\u0430 \u0436\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0446\u0438\u0442\u0430\u0442\u0430 \u0442\u0440\u0435\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.5 \u043f.\u043f.<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u22122.6 \u043f.\u043f.<\/strong>, \u0437\u043d\u0430\u0447\u0438\u043c\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">89 \u0438\u0437 125 \u2014 \u0432 <code>readmail<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">HTML-\u043e\u0431\u0432\u044f\u0437\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.9 \u043f.\u043f.<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u22121.4 \u043f.\u043f.<\/strong>, \u0437\u043d\u0430\u0447\u0438\u043c\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">54 \u0438\u0437 105 \u2014 \u0432 <code>readmail<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u044d\u043c\u043e\u0434\u0437\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.7 \u043f.\u043f., \u043d\u0430 \u0433\u0440\u0430\u043d\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f\u043e\u0434\u043f\u0438\u0441\u044c \u043f\u0438\u0441\u044c\u043c\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.1 \u043f.\u043f.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e (\u0434\u043e 1.3 \u043f.\u043f.)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u0440\u0430\u0437\u0431\u0440\u043e\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><em>\u0421\u0442\u043e\u043b\u0431\u0435\u0446 \u00ab\u043f\u0440\u043e\u0442\u0438\u0432 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430\u00bb \u0434\u043b\u044f \u043e\u043f\u0435\u0447\u0430\u0442\u043e\u043a, \u044d\u043c\u043e\u0434\u0437\u0438 \u0438 \u0446\u0438\u0442\u0430\u0442\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d \u043d\u0430 600 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0434\u043b\u044f HTML \u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u2014 \u043d\u0430 1800; \u0434\u0432\u0430 \u043f\u0440\u0430\u0432\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u2014 \u0432\u0435\u0437\u0434\u0435 \u043d\u0430 1800.<\/em><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/1a\/9d\/e5\/1a9de5b90822651d0824217a5f5b68a3.png\" alt=\"\u041f\u043e\u0447\u0442\u043e\u0432\u044b\u0439 \u043c\u0443\u0441\u043e\u0440 \u0442\u044f\u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u00ab\u043f\u043e\u0447\u0442\u043e\u0432\u044b\u0439\u00bb \u043a\u043b\u0430\u0441\u0441\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/1a\/9d\/e5\/1a9de5b90822651d0824217a5f5b68a3.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/1a\/9d\/e5\/1a9de5b90822651d0824217a5f5b68a3.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e\u0447\u0442\u043e\u0432\u044b\u0439 \u043c\u0443\u0441\u043e\u0440 \u0442\u044f\u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u00ab\u043f\u043e\u0447\u0442\u043e\u0432\u044b\u0439\u00bb \u043a\u043b\u0430\u0441\u0441<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u044b. \u041d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0440\u0430\u0441\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u0441\u0430\u043c\u044b\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u0441\u0445\u0435\u043c\u044b (<code>defquestion<\/code>, <code>factquestion<\/code>). \u0410 \u043f\u043e\u0447\u0442\u043e\u0432\u044b\u0439 \u043c\u0443\u0441\u043e\u0440 <strong>\u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0438\u043d\u0442\u0435\u043d\u0442<\/strong>: \u0446\u0438\u0442\u0430\u0442\u0430 \u0438 HTML \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0430\u043a \u00ab\u0440\u0435\u0447\u044c \u043e \u043f\u043e\u0447\u0442\u0435\u00bb, \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u0435\u0437\u0436\u0430\u044e\u0442 \u0432 <code>readmail<\/code>.<\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438: <strong>\u0447\u0438\u0441\u0442\u0438\u0442\u044c \u0432\u0445\u043e\u0434 \u0441\u0442\u043e\u0438\u0442 \u043d\u0435 \u043e\u0442 \u043b\u0438\u0448\u043d\u0435\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430, \u0430 \u043e\u0442 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432, \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043b\u0430\u0441\u0441 \u0432\u0430\u0448\u0435\u0439 \u0441\u0445\u0435\u043c\u044b.<\/strong> \u0426\u0438\u0442\u0430\u0442\u0430 \u0438 HTML \u0432\u0440\u0435\u0434\u044f\u0442 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432 \u0441\u0445\u0435\u043c\u0435 \u0435\u0441\u0442\u044c <code>readmail<\/code> \u0438 \u0438\u043c \u0435\u0441\u0442\u044c \u043d\u0430 \u0447\u0442\u043e \u0431\u044b\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438\u043c\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043c\u0443\u0441\u043e\u0440\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u043c \u0441\u0430\u043c\u0438\u043c, \u043d\u043e \u0438 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432: \u0432 \u0441\u0445\u0435\u043c\u0435 \u0431\u0435\u0437 \u043f\u043e\u0447\u0442\u043e\u0432\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0442\u043e\u0442 \u0436\u0435 HTML, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0432\u0440\u0435\u0434\u0438\u043b \u0431\u044b \u0438\u043d\u0430\u0447\u0435 \u2014 \u044d\u0442\u043e \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.<\/p>\n<p><strong>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u043b\u043e, \u043d\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u043a\u0443\u0434\u0430 \u0443\u0435\u0437\u0436\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u044b\u0439 \u0442\u0440\u0430\u0444\u0438\u043a.<\/strong> \u0415\u0441\u043b\u0438 \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043d\u0430 \u043f\u043e\u0442\u043e\u043a\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430, \u0441\u0447\u0451\u0442\u0447\u0438\u043a <code>readmail<\/code> \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u0432\u044b\u0448\u0435\u043d \u0437\u0430 \u0441\u0447\u0451\u0442 \u043f\u0438\u0441\u0435\u043c \u0441 \u0446\u0438\u0442\u0430\u0442\u043e\u0439 \u0438\u043b\u0438 HTML. \u042d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0438\u0441\u043a, \u043d\u0435 \u0432\u0438\u0434\u043d\u044b\u0439 \u043f\u043e \u043e\u0431\u0449\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><strong>\u041e\u043f\u0435\u0447\u0430\u0442\u043a\u0438 \u2014 \u0441\u0430\u043c\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044f \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435<\/strong>, \u0438 \u043e\u043d\u0438 \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0438\u0448\u043d\u0435\u0433\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u0430: \u043f\u043e\u0440\u0442\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u043e \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435, \u0430 \u043d\u0435 \u0435\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435. \u22124.8 \u043f.\u043f. \u2014 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0443 \u0446\u0438\u0442\u0430\u0442\u044b \u0438 HTML. \u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u0432 \u0437\u0430\u043c\u0435\u0440\u0435 \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u043d\u0430 12% \u0431\u0443\u043a\u0432, \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0432\u0437\u0440\u043e\u0441\u043b\u043e\u0433\u043e \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044f \u044f\u0437\u044b\u043a\u0430; \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435 \u043f\u043e\u0442\u0435\u0440\u044f, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<p><strong>\u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043c\u0435\u0447\u0430\u0435\u0442 \u0442\u043e, \u0447\u0435\u0433\u043e \u043d\u0435 \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/strong> \u041d\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u0438\u043d\u043e\u0439 \u0434\u043e 3000 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0441\u0434\u0432\u0438\u043d\u0443\u043b \u043d\u0438 \u0440\u0430\u0437\u0443, \u0430 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u043b\u0430 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0434\u043b\u0438\u043d\u0435: 0.947 \u2192 0.931 \u2192 0.931 \u2192 0.928 \u2192 0.928 \u2192 0.927. \u0422\u043e \u0436\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u043b\u043e\u0441\u044c \u0432\u043e \u0432\u0441\u0435\u0445 \u0437\u0430\u043c\u0435\u0440\u0430\u0445 \u0441\u0435\u0440\u0438\u0438, \u0433\u0434\u0435 \u0432\u0445\u043e\u0434 \u043f\u043e\u0440\u0442\u0438\u043b\u0441\u044f (\u0434\u043b\u0438\u043d\u0430, \u043f\u043e\u0437\u0438\u0446\u0438\u044f, \u044f\u0437\u044b\u043a, \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0441\u0445\u0435\u043c\u044b, \u043c\u0443\u0441\u043e\u0440). \u0421\u0440\u0435\u0434\u043d\u044f\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u0442\u043e\u043a\u0435 \u2014 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0441\u043e \u0432\u0445\u043e\u0434\u043e\u043c \u0447\u0442\u043e-\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c. \u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0438: \u044d\u0442\u043e \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u044d\u0444\u0444\u0435\u043a\u0442 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430 (\u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0435\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439), \u0438 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0430 \u2014 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0434\u0440\u0435\u0439\u0444 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0442\u043e\u0436\u0435 \u0434\u0432\u0438\u0433\u0430\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u044e\u044e.<\/p>\n<h3>10. \u0427\u0443\u0436\u043e\u0439 \u0432\u0445\u043e\u0434: \u043a\u043b\u0430\u0441\u0441 \u00ab\u0434\u0440\u0443\u0433\u043e\u0435\u00bb \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430<\/h3>\n<p>\u0421\u0445\u0435\u043c\u0430 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043d\u0438 \u043f\u043e\u0434 \u043e\u0434\u0438\u043d? \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u043d\u0430 \u043f\u044f\u0442\u0438 \u0433\u0440\u0443\u043f\u043f\u0430\u0445: \u0442\u043e\u0442 \u0436\u0435 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0438\u0439 \u0434\u043e\u043c\u0435\u043d, \u043d\u043e \u0442\u0435\u043c\u0430 \u0432\u043d\u0435 \u0441\u0445\u0435\u043c\u044b (\u0442\u0430\u043a \u0447\u0443\u0436\u043e\u0439 \u0432\u0445\u043e\u0434 \u043e\u0431\u044b\u0447\u043d\u043e \u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442); \u0434\u0440\u0443\u0433\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c; \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0438\u0446\u0430; \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u044b\u0439 \u0432\u0445\u043e\u0434 (\u00abhi\u00bb, \u00ab?\u00bb, \u043e\u0434\u043d\u0430 \u044d\u043c\u043e\u0434\u0437\u0438); \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0445, \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0434 \u0434\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0430.<\/p>\n<p>\u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0447\u0443\u0436\u043e\u043c \u0432\u0445\u043e\u0434\u0435 \u043f\u0430\u0434\u0430\u0435\u0442, \u0438 \u043f\u043e \u043d\u0435\u0439 \u0447\u0443\u0436\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u0442 \u0441\u0432\u043e\u0435\u0433\u043e: \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (AUROC, \u0433\u0434\u0435 0.5 \u2014 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0435, 1.0 \u2014 \u0438\u0434\u0435\u0430\u043b) \u0443 Jev \u043e\u0442 0.90 \u043d\u0430 \u0431\u043b\u0438\u0437\u043a\u043e\u043c \u0447\u0443\u0436\u043e\u043c \u0432\u0445\u043e\u0434\u0435 \u0434\u043e 0.99 \u043d\u0430 \u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u043c. \u041d\u043e \u044f\u0432\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u043b\u043e\u0432\u0438\u0442 \u0440\u0435\u0448\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u043f\u0440\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0439 \u0446\u0435\u043d\u0435 \u0432 \u043f\u043e\u0442\u0435\u0440\u044f\u0445 \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f\u0445:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u043b\u043e\u0432\u0438\u0442 \u0447\u0443\u0436\u043e\u0439 \u0432\u0445\u043e\u0434 \u043f\u043e\u0440\u043e\u0433\u043e\u043c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043b\u043e\u0432\u0438\u0442 \u043a\u043b\u0430\u0441\u0441\u043e\u043c <code>other<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0438\u0437 \u043d\u0438\u0445 \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u0447\u0443\u0436\u043e\u0439 \u0432\u0445\u043e\u0434<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Jev<\/p>\n<\/td>\n<td>\n<p align=\"left\">71%<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>99%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">39 \u0438\u0437 40<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-nano<\/p>\n<\/td>\n<td>\n<p align=\"left\">42%<\/p>\n<\/td>\n<td>\n<p align=\"left\">94%<\/p>\n<\/td>\n<td>\n<p align=\"left\">33 \u0438\u0437 40<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">gpt-4.1-mini<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%<\/p>\n<\/td>\n<td>\n<p align=\"left\">99%<\/p>\n<\/td>\n<td>\n<p align=\"left\">38 \u0438\u0437 40<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u0449\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u00ab99%\u00bb \u2014 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0447\u0435\u0442\u044b\u0440\u0451\u043c \u0433\u0440\u0443\u043f\u043f\u0430\u043c, \u0442\u0440\u0438 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0447\u0443\u0436\u0438\u0435; \u0434\u043b\u044f \u043f\u043e\u0445\u043e\u0436\u0435\u0433\u043e \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u044f \u2014 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0430\u044f \u0442\u0435\u043c\u0430 \u0432\u043d\u0435 \u0441\u0445\u0435\u043c\u044b \u2014 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446. \u0417\u043d\u0430\u0447\u0438\u043c\u043e\u0433\u043e \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f\u0445 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f 11-\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u044f \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b; \u043f\u0440\u0438 \u044d\u0442\u043e\u043c 2.7% \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0439 Jev \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e \u043e\u0442\u043d\u0451\u0441 \u043a <code>other<\/code>.<\/p>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u0440\u043e\u0433 \u0443 gpt-4.1-mini \u043d\u0435 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0443 Jev<\/strong>, \u0445\u043e\u0442\u044f \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 2 \u043e\u043d \u0443 \u043d\u0435\u0451 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b. \u042d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u0447\u0443\u0436\u043e\u0439 \u0432\u0445\u043e\u0434 \u043e\u0442 \u0441\u0432\u043e\u0435\u0433\u043e \u2014 \u0438 \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u0432\u043e\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0442 \u0441\u0432\u043e\u0435\u0433\u043e \u0432\u0435\u0440\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430, \u043f\u0440\u0438\u0447\u0451\u043c \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0447\u0438\u0441\u043b\u043e\u0432\u044b\u043c \u043f\u043e\u0440\u043e\u0433\u043e\u043c. \u041d\u0430 \u0447\u0443\u0436\u043e\u043c \u0432\u0445\u043e\u0434\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c gpt-4.1-mini \u043f\u0430\u0434\u0430\u0435\u0442 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433; \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043e\u0448\u0438\u0431\u043a\u0430\u0445 \u043e\u043d\u0430 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0432\u044b\u0448\u0435 0.9, \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0440\u043e\u0433 \u043f\u043e \u0434\u043e\u043b\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 2). \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430 \u0434\u0440\u0443\u0433\u0443\u044e \u043d\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f.<\/p>\n<h3>11. \u042f\u0437\u044b\u043a\u0438<\/h3>\n<p>\u0412\u0435\u043d\u0434\u043e\u0440 \u043f\u0438\u0448\u0435\u0442, \u0447\u0442\u043e \u0434\u0440\u0443\u0433\u0438\u0435 \u044f\u0437\u044b\u043a\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f, \u043d\u043e \u0441 \u0431\u043e\u043b\u0435\u0435 \u043d\u0438\u0437\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e, \u2014 \u0431\u0435\u0437 \u0446\u0438\u0444\u0440. MASSIVE \u2014 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441, \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044f\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u0430\u0440\u043d\u043e\u0435: \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0441\u043c\u044b\u0441\u043b \u043d\u0430 \u043f\u044f\u0442\u0438 \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u044f\u0437\u044b\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">Jev<\/p>\n<\/th>\n<th>\n<p align=\"left\">gpt-4.1-mini<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u043e\u0442\u0435\u0440\u044f Jev \u043a \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c\u0443<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u043e\u0442\u0435\u0440\u044f gpt-4.1-mini<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">en<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">fr<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.5 \u043f.\u043f., \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.2 \u043f.\u043f.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">it<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.3 \u043f.\u043f.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22124.3 \u043f.\u043f.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">de<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.5 \u043f.\u043f.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22123.7 \u043f.\u043f.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">nl<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.8 \u043f.\u043f.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22123.8 \u043f.\u043f.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041d\u0430 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043f\u043e\u0442\u0435\u0440\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 1.5\u20132.8 \u043f.\u043f., \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c Jev<\/strong>: gpt-4.1-mini \u0442\u0435\u0440\u044f\u0435\u0442 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u0432\u0443\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0430\u0434\u0430\u044e\u0442 \u043d\u0430 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f: \u0435\u0441\u043b\u0438 Jev \u043e\u0448\u0438\u0431\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0437-\u0437\u0430 \u044f\u0437\u044b\u043a\u0430, \u0448\u0430\u043d\u0441\u044b, \u0447\u0442\u043e \u0442\u0430\u043c \u0436\u0435 \u043e\u0448\u0438\u0431\u0451\u0442\u0441\u044f \u0438 GPT, \u0432 25\u201371 \u0440\u0430\u0437 \u0432\u044b\u0448\u0435 \u043e\u0431\u044b\u0447\u043d\u044b\u0445. \u041f\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0443 Jev \u043f\u0440\u043e\u0441\u0435\u043b\u0438 \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u044f\u0437\u044b\u043a\u0430.<\/p>\n<p><strong>\u042f\u0437\u044b\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043f\u043e\u0445\u043e\u0436\u0435, \u043d\u0435 \u0432\u0430\u0436\u0435\u043d.<\/strong> \u041d\u0430 \u043b\u0451\u0433\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 10 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0445\u0435\u043c\u044b \u043d\u0430 \u044f\u0437\u044b\u043a \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0435 \u0434\u0430\u043b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0438 \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u043d\u0438 \u043f\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u0414\u0435\u0440\u0436\u0430\u0442\u044c \u0441\u0445\u0435\u043c\u0443 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u0440\u0430\u0437\u0443\u043c\u043d\u0430\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430, \u043d\u043e \u043d\u0430 \u0442\u0440\u0443\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u044d\u0442\u043e \u043d\u0435 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c.<\/p>\n<h3>12. \u041a\u043e\u0433\u0434\u0430 Jev \u043d\u0435 \u043d\u0443\u0436\u0435\u043d<\/h3>\n<p>\u0422\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u0430\u0432\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430\u043c\u0438. \u042f \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0441 \u0442\u0440\u0435\u043c\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438. \u041e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043e\u043d\u0438 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0430\u043c\u0438\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432, \u0430 \u043d\u0435 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430\u0445 Jev.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/96\/5e\/dc\/965edc8fc4d11e4749da9113bb2baff8.png\" alt=\"\u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 ~16 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/96\/5e\/dc\/965edc8fc4d11e4749da9113bb2baff8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/96\/5e\/dc\/965edc8fc4d11e4749da9113bb2baff8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 ~16 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441<\/figcaption><\/div>\n<\/figure>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435 zero-shot \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u0441\u0442\u0443\u043f\u0430\u044e\u0442 Jev:<\/strong> NLI (<code>bart-large-mnli<\/code>) \u2014 24\u201349%, \u043a\u043e\u0441\u0438\u043d\u0443\u0441 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0430 \u043d\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u2014 64\u201388%.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0430 \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 Jev \u0434\u043e\u0433\u043e\u043d\u044f\u0435\u0442.<\/strong> \u041d\u0430 MASSIVE \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043d\u0430 <code>text-embedding-3-large<\/code> \u0441 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (\u043f\u043e\u0434\u0431\u043e\u0440 \u043a\u0440\u043e\u0441\u0441-\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0435\u0439 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435; \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432 \u043f\u043e\u0434\u0431\u043e\u0440\u0435 \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438) \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 Jev \u043e\u043a\u043e\u043b\u043e 16 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441 \u0438 \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 \u0435\u0433\u043e \u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u043c \u043f\u0443\u043b\u0435: 91.5% \u043f\u0440\u043e\u0442\u0438\u0432 89.6%. \u00ab16\u00bb \u2014 \u0442\u043e\u0447\u043a\u0430, \u0433\u0434\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u043b\u0438\u0441\u044c \u043a\u0440\u0438\u0432\u044b\u0435 \u043d\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u0430 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430 \u0441\u0434\u0432\u0438\u043d\u0443\u0442\u043e\u043c \u0432\u0445\u043e\u0434\u0435 \u2014 \u043d\u0435\u0442.<\/strong> \u041d\u0430 \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435 \u0441 \u043b\u043e\u0432\u0443\u0448\u043a\u0430\u043c\u0438 \u0442\u0435 \u0436\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u0430\u044e\u0442 70\u201384% \u043f\u0440\u043e\u0442\u0438\u0432 97.8% \u0443 Jev. \u041d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 banking77 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043d\u0435 \u0445\u0443\u0436\u0435 Jev.<\/p>\n<\/li>\n<\/ul>\n<p>\u0427\u0435\u0441\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430: <strong>\u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Jev \u2014 zero-shot \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0441\u0434\u0432\u0438\u0433\u0443 \u0432\u0445\u043e\u0434\u0430, \u0430 \u043d\u0435 \u00ab\u043b\u0443\u0447\u0448\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430\u00bb.<\/strong> \u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u00ab\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0441\u0434\u0432\u0438\u0433\u0443\u00bb \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435 Claude \u0441 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043b\u043e\u0432\u0443\u0448\u043a\u0430\u043c\u0438. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0432\u0445\u043e\u0434 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043d\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u2014 \u0434\u0435\u0448\u0451\u0432\u0430\u044f \u0438 \u0441\u0438\u043b\u044c\u043d\u0430\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430. Fine-tuning \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0441\u044f.<\/p>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u0442 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 System One-\u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/strong> \u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0445\u043e\u0434\u0430 Jev \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u043e\u0433\u043e \u0436\u0435 \u043a\u043b\u0430\u0441\u0441\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u2014 Laya, Nimble, Kev \u0438 \u0434\u0440\u0443\u0433\u0438\u0435. \u042f \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0438\u043b \u0438\u0445 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435: \u0446\u0435\u043b\u044c \u0441\u0435\u0440\u0438\u0438 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u2014 \u0440\u0435\u0448\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435. \u041e\u0442\u043a\u0440\u044b\u0442\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u0445\u043e\u0441\u0442\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c GPU, \u0430 \u043f\u0440\u0438 \u0446\u0435\u043d\u0435 Jev \u043e\u043a\u043e\u043b\u043e $23 \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439 \u0434\u043b\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u044d\u0442\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043e. \u041f\u043e \u0442\u043e\u0439 \u0436\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0435 \u044f \u043d\u0435 \u0441\u0442\u0430\u043b \u0431\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0442\u044c \u0445\u043e\u0441\u0442\u0438\u0442\u044c \u0438 \u0441\u0430\u043c Jev, \u0431\u0443\u0434\u044c \u0435\u0433\u043e \u0432\u0435\u0441\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b. \u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043d\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445, \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 CPU \u0438 \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u0451\u0448\u0435\u0432\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0430 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0435\u0441\u0442\u044c. \u042f \u0431\u0435\u0433\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0441\u0430\u043c\u0443\u044e \u0437\u0430\u043c\u0435\u0442\u043d\u0443\u044e \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, Laya \u2014 \u0443 \u043c\u0435\u043d\u044f \u043e\u043d\u0430 \u0443\u0441\u0442\u0443\u043f\u0430\u043b\u0430 Jev. \u042d\u0442\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0440, \u0446\u0438\u0444\u0440 \u043d\u0435 \u043f\u0440\u0438\u0432\u043e\u0436\u0443. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0434\u043b\u044f \u043d\u0430\u0441 \u2014 \u043d\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435, \u0430 \u0432 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<h3>13. \u0418\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438 \u043c\u0435\u043b\u043e\u0447\u0438<\/h3>\n<ul>\n<li>\n<p><strong>\u041f\u0443\u043b \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u0435\u043d.<\/strong> TLS-\u0440\u0443\u043a\u043e\u043f\u043e\u0436\u0430\u0442\u0438\u0435 \u0434\u043e <code>api.typesafe.ai<\/code> \u0441\u0442\u043e\u0438\u0442 ~430 \u043c\u0441 \u0438\u0437 \u0415\u0432\u0440\u043e\u043f\u044b (\u043c\u0430\u0440\u0448\u0440\u0443\u0442 \u0432 \u0421\u0428\u0410, \u0431\u043b\u0438\u0436\u043d\u0435\u0433\u043e \u0443\u0437\u043b\u0430 \u043d\u0435\u0442). \u041f\u0440\u044f\u043c\u043e\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0441 \u043d\u043e\u0432\u044b\u043c \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u2014 819 \u043c\u0441 \u043f\u043e \u043c\u0435\u0434\u0438\u0430\u043d\u0435, \u0441 keep-alive \u2014 309 \u043c\u0441. \u0411\u0435\u0437 \u043f\u0443\u043b\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0432\u0434\u0432\u043e\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0447\u0435\u043c \u0447\u0435\u0440\u0435\u0437 OpenRouter.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u044f\u043c\u043e\u0439 API \u0438 OpenRouter \u0434\u0430\u044e\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b; \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043f\u0440\u043e\u043a\u0441\u0438 \u0434\u043b\u044f Jev +17 \u043c\u0441.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0447\u0442\u0438 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043f\u043e \u043c\u0435\u0442\u043a\u0430\u043c<\/strong> (0.47% \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0432\u0442\u043e\u0440\u0430\u043c\u0438), \u043d\u043e <strong>\u043d\u0435 \u043f\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/strong>: \u0443 17\u201330% \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043e\u043d\u0430 \u043f\u0440\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u0435 \u0434\u0440\u0443\u0433\u0430\u044f, \u043c\u0435\u0441\u0442\u0430\u043c\u0438 0.69 \u043f\u0440\u043e\u0442\u0438\u0432 0.90. \u041d\u0435 \u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u043b\u043e\u0433\u0438\u043a\u0443 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u0437\u043d\u0430\u043a\u0435.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0427\u0435\u043a-\u043b\u0438\u0441\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438<\/h3>\n<ol>\n<li>\n<p>\u041f\u0443\u043b \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439 \u0441 keep-alive.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u2014 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0440\u044b\u0447\u0430\u0433 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u043f\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c: \u043a\u043b\u0430\u0441\u0441 \u0441 \u0430\u043d\u043e\u043c\u0430\u043b\u044c\u043d\u043e \u043d\u0438\u0437\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u2014 \u043f\u043e\u0432\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0435\u0433\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b: \u0441 \u043d\u0438\u043c\u0438 \u0438\u043c\u044f \u043c\u0435\u0442\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u0437 \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430, \u0431\u0435\u0437 \u043d\u0438\u0445 \u2014 \u043d\u0435\u0442. \u0428\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 \u00ab\u043f\u0440\u043e \u0432\u0441\u0451\u00bb \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0447\u0443\u0436\u043e\u0439 \u0442\u0440\u0430\u0444\u0438\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0432\u0445\u043e\u0434\u0430 \u0432\u043d\u0435 \u0441\u0445\u0435\u043c\u044b \u2014 \u044f\u0432\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 <code>other<\/code>; \u043f\u043e\u0440\u043e\u0433 \u043e\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0434\u043b\u044f \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0445\u0435\u043c\u044b.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0440\u043e\u0433 \u043f\u043e <code>confidence<\/code> \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u2014 \u0438 \u0437\u0430\u043d\u043e\u0432\u043e \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0441\u0445\u0435\u043c\u044b. <code>confidence<\/code> \u2014 \u043d\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0438 \u0435\u0451 \u0448\u043a\u0430\u043b\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u043a\u043b\u0430\u0441\u0441\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u0435\u043a\u0441\u0442\u0443 \u2014 \u043e\u0434\u043d\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0430\u043c\u043e \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u043e <code>state<\/code>, \u0446\u0438\u0442\u0430\u0442\u044b \u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u2014 \u043f\u043e\u0441\u043b\u0435: \u0432 \u043c\u043e\u0438\u0445 \u0442\u0435\u0441\u0442\u0430\u0445 \u044d\u0442\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u043b\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c, \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0437 \u0432\u0445\u043e\u0434\u0430 \u0432\u044b\u0440\u0435\u0437\u0430\u0439\u0442\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b, \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u043b\u0430\u0441\u0441 \u0432\u0430\u0448\u0435\u0439 \u0441\u0445\u0435\u043c\u044b (\u0446\u0438\u0442\u0430\u0442\u044b, HTML), \u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u043b\u0438\u0448\u043d\u0438\u0439 \u0442\u0435\u043a\u0441\u0442\u00bb.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u0431\u044e\u0434\u0436\u0435\u0442 \u0432 \u0442\u043e\u043a\u0435\u043d\u0430\u0445 Jev, \u0430 \u043d\u0435 LLM: \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432\u0442\u0440\u043e\u0435 \u0434\u043e\u0440\u043e\u0436\u0435 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043b\u0435\u0434\u0438\u0442\u0435 \u0437\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430 \u043f\u043e\u0442\u043e\u043a\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u0441\u043e\u0442\u043d\u0438 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u2014 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u0441 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439 \u043d\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/h4>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u00ab\u043c\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0434\u043e \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u00bb. \u0427\u0435\u0442\u044b\u0440\u0435 \u043f\u0440\u0438\u0451\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u0443\u0431\u0435\u0440\u0435\u0433\u043b\u0438 \u043e\u0442 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0445 \u0432\u044b\u0432\u043e\u0434\u043e\u0432:<\/p>\n<ol>\n<li>\n<p><strong>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0438\u043b\u043e\u0442 \u043d\u0430 30\u201350 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/strong> \u0415\u0441\u043b\u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0448\u0435 ~95%, \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u0432 1\u20132 \u043f.\u043f. \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0432 \u0441\u043e\u0442\u043d\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u0438\u0434\u043d\u044b: \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0448\u0438\u0440\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0430. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043d\u0443\u0436\u0435\u043d \u043b\u0438\u0431\u043e \u043d\u0430\u0431\u043e\u0440 \u0431\u043e\u043b\u044c\u0448\u0435, \u043b\u0438\u0431\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0440\u0435\u0441\u0441-\u0442\u0435\u0441\u0442 \u043d\u0430 \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445; \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u043d\u0430 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u043e\u0442\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p><strong>\u0428\u0443\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438, \u0430 \u043d\u0435 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u043e\u0439.<\/strong> \u041e\u0434\u043d\u0430 \u043f\u0430\u0440\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0434\u0430\u043b\u0430 0 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0439 \u0438\u0437 600, \u0448\u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u2014 0.47%. \u0418 \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0448\u0443\u043c \u0441\u0432\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u2014 \u043a\u0440\u0438\u0432\u043e\u0439 risk-coverage, \u0430 \u043d\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0435\u0439.<\/strong> \u0423 gpt-4.1-mini \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0441 \u043f\u0440\u0430\u0432\u043e\u0442\u043e\u0439 0.09 \u2014 \u043f\u043e\u0447\u0442\u0438 \u043d\u043e\u043b\u044c, \u2014 \u043f\u0440\u0438 AUROC 0.965: \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044f \u0443 1.0, \u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043d\u0430 \u0442\u0430\u043a\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u0430. \u041f\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438 \u0432\u044b\u0432\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0431\u044b \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0449\u0430\u044f<\/strong> (\u0440\u0430\u0437\u0434\u0435\u043b 5).<\/p>\n<\/li>\n<\/ol>\n<h3>\u0427\u0435\u043c\u0443 \u043d\u0435 \u0432\u0435\u0440\u0438\u0442\u044c<\/h3>\n<ul>\n<li>\n<p><strong>\u0414\u043e\u043c\u0435\u043d\u044b \u0443\u0437\u043a\u0438\u0435<\/strong>: \u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0438\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u043e\u0439 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442, BoolQ, \u043e\u0442\u0437\u044b\u0432\u044b. \u041d\u0430 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u043f\u043e\u0442\u043e\u043a\u0435 \u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0438\u0441\u044c\u043c\u0430\u0445 \u0438 \u0447\u0430\u0442\u0430\u0445 \u0441 \u0438\u0445 \u043e\u0431\u0432\u044f\u0437\u043a\u043e\u0439 \u2014 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 Claude<\/strong> \u2014 \u0441\u043c. \u0440\u0430\u0441\u043a\u0440\u044b\u0442\u0438\u0435 \u0432\u044b\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0434\u043d\u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439<\/strong> (gpt-4.1-mini), \u043e\u0434\u0438\u043d \u043f\u043e\u0434\u043a\u0440\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442. \u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 System One-\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0438\u0441\u044c (\u0440\u0430\u0437\u0434\u0435\u043b 12).<\/p>\n<\/li>\n<li>\n<p><strong>Latency \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u0430 \u043a \u0433\u0435\u043e\u0433\u0440\u0430\u0444\u0438\u0438<\/strong> (\u041a\u0438\u043f\u0440 \u2192 \u0421\u0428\u0410) \u0438 \u043a \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435: \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c\u0441\u044f \u0438 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u0438 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>Fan-out \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u0432 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a.<\/strong><\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043d\u043e\u0433\u0438\u0435 \u00ab\u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e\u00bb \u0441\u0442\u043e\u044f\u0442 \u043d\u0430 600 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445<\/strong>, \u0433\u0434\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u0432 1\u20132 \u043f.\u043f. \u043d\u0435 \u0440\u0430\u0437\u0432\u043e\u0434\u044f\u0442\u0441\u044f. \u042d\u0442\u043e \u043d\u0435\u0445\u0432\u0430\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043d\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0440\u0447\u0438 \u0432\u0445\u043e\u0434\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435<\/strong>, \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0438\u0437 \u0448\u0430\u0431\u043b\u043e\u043d\u043e\u0432, \u0430 \u043d\u0435 \u0438\u0437 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0447\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0438\u0441\u0442\u043e\u0442\u0430 \u0441\u0445\u0435\u043c\u044b \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430.<\/strong> \u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 27 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u044b \u0442\u043e\u0439 \u0436\u0435 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0430 \u0434\u0432\u0430 \u0434\u0435\u0444\u0435\u043a\u0442\u0430 \u0438\u0437 \u0442\u0440\u0451\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0443\u0436\u043e\u0439 \u0432\u0445\u043e\u0434 \u2014 \u043f\u043e 40 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u0443<\/strong>; \u043a\u043b\u0430\u0441\u0441 <code>other<\/code> \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u00abJev \u0442\u0435\u0440\u044f\u0435\u0442 \u043d\u0430 \u044f\u0437\u044b\u043a\u0430\u0445 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c GPT\u00bb \u2014 \u043d\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/strong> \u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043e\u0432\u043f\u0430\u043b\u043e \u0443 \u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u044f\u0437\u044b\u043a\u043e\u0432, \u043d\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0434\u043d\u0430<\/strong> \u2014 <code>jev-1.13.0<\/code>; \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u0438\u043d\u0430\u0447\u0435.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0414\u0430\u043d\u043d\u044b\u0435<\/h3>\n<ul>\n<li>\n<p>MASSIVE \u2014 Amazon, CC BY 4.0.<\/p>\n<\/li>\n<li>\n<p>banking77 \u2014 PolyAI, CC BY 4.0.<\/p>\n<\/li>\n<li>\n<p>BoolQ \u2014 Google, CC BY-SA 3.0.<\/p>\n<\/li>\n<li>\n<p>Yelp Reviews \u2014 \u043f\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c Yelp Dataset; \u043e\u0442\u0437\u044b\u0432\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0435 \u0446\u0438\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u043a\u0440\u0438\u043f\u0442\u044b, \u0441\u0445\u0435\u043c\u044b, \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0438 \u0441\u044b\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044e \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0437\u0436\u0435.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1089164\/\">https:\/\/habr.com\/ru\/articles\/1089164\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432\u0430\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0442\u044c \u0438\u0445 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0446\u0435\u043d\u0443, \u043d\u043e \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0433\u0434\u0435 \u0438\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u0430 \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430. \u041c\u043d\u043e\u0433\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u2014 \u0438 \u043e \u043d\u0438\u0445 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0437\u043d\u0430\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435.\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Jev \u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043d\u043e \u043e\u0431\u044a\u0451\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u043c, \u0438 \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0441 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c. \u0421 19 \u043f\u043e 30 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043e 22 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043e \u043e\u043a\u043e\u043b\u043e 160 \u0442\u044b\u0441\u044f\u0447 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043a jev-1.13.0 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c OpenAI. \u0412\u0441\u0435 \u0442\u0435\u0441\u0442\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 API \u0440\u0430\u043d\u043d\u0435\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0438 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u043e\u0431\u043e\u0448\u043b\u0438\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 $18.\u041c\u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0446\u0435\u043d\u0443, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0439\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0435\u0451 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0430 \u0442\u043e\u0447\u043d\u0430 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 GPT-\u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438? \u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0435\u0451 confidence \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0430 \u043d\u0451\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u043e\u0443\u0442\u0438\u043d\u0433? \u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0451\u0442 \u043f\u0440\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438 \u0441\u043f\u0438\u0441\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0433\u0440\u044f\u0437\u043d\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u0438\u043b\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u044f\u0437\u044b\u043a\u0435? \u0423 LLM \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0441\u0432\u043e\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, lost in the middle \u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u043e\u0441\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043e\u0448\u0438\u0431\u0430\u0442\u044c\u0441\u044f. \u041b\u043e\u0433\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0435\u0441\u0442\u044c \u043b\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0442\u0430\u043a\u0438\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u043e\u0432 \u0443 System One \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 Jev.\u042f \u043d\u0435 \u0431\u0443\u0434\u0443 \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Jev \u2014 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0435 \u0432\u0432\u043e\u0434\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u0430 \u0434\u0435\u0442\u0430\u043b\u0438 API \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u041d\u0438\u0436\u0435 \u2014 \u0441\u0435\u0440\u0438\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a. \u0412\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u044b \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u0430\u0442\u0430\u043c \u0437\u0430\u043c\u0435\u0440\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0435 \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445, \u0430 \u0432 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445.\u041c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u0440\u043e \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e JevJev \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442. \u041d\u0430 \u0432\u0445\u043e\u0434 \u2014 \u0442\u0435\u043a\u0441\u0442 (state) \u0438 \u043d\u0430\u0431\u043e\u0440 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u043d\u0435\u043c\u0443, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434 \u2014 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439. \u0422\u0438\u043f\u043e\u0432 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0442\u0440\u0438: choice (\u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430), score (\u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e \u0448\u043a\u0430\u043b\u0435 \u0443\u0440\u043e\u0432\u043d\u0435\u0439) \u0438 noul (\u0434\u0430\/\u043d\u0435\u0442 \u0432 \u0432\u0438\u0434\u0435 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438). \u0414\u043b\u044f choice \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u044b \u0438 \u0438\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043d\u0430 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0432\u0441\u044f \u00ab\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u00bb.curl https:\/\/api.typesafe.ai\/v1\/systemone \\  -H &#171;Authorization: Bearer $TYPESAFE_API_KEY&#187; \\  -H &#171;Content-Type: application\/json&#187; \\  -d &#8216;{    &#171;model&#187;: &#171;jev-1.13.0&#187;,    &#171;state&#187;: &#171;typed it wrong too many times at the atm and now its locked, how do i fix&#187;,    &#171;questions&#187;: {      &#171;intent&#187;: {        &#171;type&#187;: &#171;choice&#187;,        &#171;instructions&#187;: &#171;What is the customer asking about?&#187;,        &#171;criteria&#187;: {          &#171;pin&#187;: &#171;Problems with the card PIN: forgotten, blocked, needs changing&#187;,          &#171;transfer&#187;: &#171;Sending money, a transfer that failed or is delayed&#187;,          &#171;support&#187;: &#171;Anything else that needs a human agent&#187;        }      }    }  }&#8217;\u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u2014 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, confidence \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 probabilities \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0430, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435):{  &#171;answers&#187;: {    &#171;intent&#187;: {      &#171;choice&#187;: &#171;pin&#187;,      &#171;confidence&#187;: 0.98,      &#171;probabilities&#187;: {&#171;pin&#187;: 0.99, &#171;transfer&#187;: 0.0, &#171;support&#187;: 0.01}    }  },  &#171;usage&#187;: {&#171;input_tokens&#187;: 212}}\u041f\u043b\u0430\u0442\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0445\u043e\u0434: $0.042 \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0432\u044b\u0445\u043e\u0434 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u0435\u043d.TL;DR\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c Jev \u2014 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 gpt-4.1-mini, \u0435\u0441\u043b\u0438 \u043e\u0431\u0435\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c Jev \u0432 2.4 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0432 5 \u0440\u0430\u0437 \u0434\u0435\u0448\u0435\u0432\u043b\u0435.\u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u2014 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430. \u041e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u043e\u0433 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0443 Jev \u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u0443 GPT \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442: 83% \u043e\u0448\u0438\u0431\u043e\u043a gpt-4.1-mini \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0448\u0435 0.9, \u0443 Jev \u2014 29%. \u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u043e \u0440\u0438\u0441\u043a\u0443 GPT \u043d\u0435 \u0445\u0443\u0436\u0435 \u2014 \u043f\u043e\u0440\u043e\u0433 \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e \u0434\u043e\u043b\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430, \u0430 \u043d\u0435 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e.\u041f\u043e\u0440\u043e\u0433 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u0445\u0435\u043c\u0430\u043c\u0438. \u0414\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u2014 \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u043e\u0433 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043e\u043a.\u0421\u043e\u0440\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u0435\u043a\u0441\u0442\u0443 \u2014 \u043f\u043e\u0447\u0442\u0438 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0434\u043e 86% \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0447\u0435\u043c \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u0438\u0445 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443.\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u043f\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0443 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u0421 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0438\u043c\u044f \u043c\u0435\u0442\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0431\u0435\u0437 \u043d\u0438\u0445 \u2014 \u0440\u0435\u0448\u0430\u0435\u0442 \u0432\u0441\u0451.\u0422\u043e\u043a\u0435\u043d\u044b Jev \u2014 \u043d\u0435 \u0442\u043e\u043a\u0435\u043d\u044b LLM. \u0422\u043e\u0442 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441\u0442\u043e\u0438\u0442 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0435\u043c \u0443 GPT, \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u2014 \u0432\u0442\u0440\u043e\u0435 \u0434\u043e\u0440\u043e\u0436\u0435 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e.\u041f\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432\u0440\u0435\u0434\u0438\u0442 \u0441\u0440\u0430\u0437\u0443, \u0430 \u043d\u0435 \u0443 \u043b\u0438\u043c\u0438\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0438 Jev \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0435\u0435 \u043a \u043d\u0435\u043c\u0443, \u0447\u0435\u043c GPT.\u041c\u0443\u0441\u043e\u0440 \u0432\u043e \u0432\u0445\u043e\u0434\u0435 \u043e\u043f\u0430\u0441\u0435\u043d \u043d\u0435 \u043e\u0431\u044a\u0451\u043c\u043e\u043c, \u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c: \u0446\u0438\u0442\u0430\u0442\u0430 \u043f\u0438\u0441\u044c\u043c\u0430 \u0442\u044f\u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u00ab\u043f\u043e\u0447\u0442\u043e\u0432\u044b\u0439\u00bb \u043a\u043b\u0430\u0441\u0441.\u0414\u043b\u044f \u0447\u0443\u0436\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u044f\u0432\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 other \u0432 \u0440\u0430\u0437\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430.\u0421 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0441\u043e\u0442\u043d\u044f\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (\u043e\u043a\u043e\u043b\u043e 16 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441) \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 Jev \u0434\u043e\u0433\u043e\u043d\u044f\u0435\u0442.\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u0430\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443, \u043d\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044f \u043e\u043d\u0430 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u044f\u043c:\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u2014 \u0434\u043e\u043b\u044f \u0432\u0435\u0440\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 (accuracy): 90% \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0433\u0430\u0434\u0430\u043b\u0430 \u043a\u043b\u0430\u0441\u0441 \u0432 90 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 100.\u043f.\u043f., \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0435 \u043f\u0443\u043d\u043a\u0442\u044b \u2014 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u043c\u0438. \u0411\u044b\u043b\u043e 90%, \u0441\u0442\u0430\u043b\u043e 87% \u2014 \u044d\u0442\u043e \u043c\u0438\u043d\u0443\u0441 3 \u043f.\u043f. (\u0430 \u043d\u0435 \u043c\u0438\u043d\u0443\u0441 3%).\u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043a\u0430\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u22124.1 [\u22126.3; \u22122.0], \u2014 95% \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435. \u0415\u0441\u043b\u0438 \u043e\u043d \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043f\u043e \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043e\u0442 \u043d\u0443\u043b\u044f, \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0435\u0441\u0442\u044c. \u0415\u0441\u043b\u0438 \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u043b\u044c, \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c.p \u2014 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0431\u044b\u043b\u0430 \u0431\u044b \u0442\u0430\u043a\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430, \u0435\u0441\u043b\u0438 \u0431\u044b \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0435\u0451 \u043d\u0435 \u0431\u044b\u043b\u043e. \u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 p, \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0434\u043e\u0432\u043e\u0434, \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0430\u044f; \u043e \u0442\u043e\u043c, \u0432\u0435\u043b\u0438\u043a\u0430 \u043b\u0438 \u043e\u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, p \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442. \u00ab\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438\u00bb \u2014 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0438 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0438\u0437 \u043d\u0438\u0445 \u043c\u043e\u0433\u043b\u0430 \u00ab\u0432\u044b\u0441\u0442\u0440\u0435\u043b\u0438\u0442\u044c\u00bb \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e.\u00ab\u041d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e\u00bb \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442 \u00ab\u043d\u0435\u0442\u00bb. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u044c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u044f\u0434\u043e\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: \u043a\u0430\u043a\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0449\u0451 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442.\u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u0447\u0438\u0441\u043b\u043e \u043e\u0442 0 \u0434\u043e 1, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u0442\u0432\u0435\u0442\u043e\u043c. \u041f\u043e\u0440\u043e\u0433 \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u00ab\u043e\u0442\u0432\u0435\u0442\u044b \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0448\u0435 0.9 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2014 \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443\u00bb. \u041f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043f\u043e\u0442\u043e\u043a\u043e\u043c.Latency p50 \/ p95 \u2014 \u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430: \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 p50, 95% \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 p95.\u041a\u0430\u043a \u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u0437\u0430\u043c\u0435\u0440\u044b \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0417\u0434\u0435\u0441\u044c \u2014 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u0430\u043c.\u041d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445.\u043d\u0430\u0431\u043e\u0440\u0447\u0442\u043e \u044d\u0442\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0434\u043b\u044f \u0447\u0435\u0433\u043e\u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0430\u044f \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430400 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0439 \u0432 \u0431\u0430\u043d\u043a, 30% \u043b\u0451\u0433\u043a\u0438\u0445 \/ 45% \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \/ 25% \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u0441 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043b\u043e\u0432\u0443\u0448\u043a\u0430\u043c\u043810\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 GPT, \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442banking77\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0441\u0440\u0435\u0437 15010 (24 \u043c\u0435\u0442\u043a\u0438 \u0441\u0432\u0435\u0434\u0435\u043d\u044b)\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u0438MASSIVE (EN + 4 \u044f\u0437\u044b\u043a\u0430)\u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u043e\u043c\u0443 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u044310 \u0438 30\u0442\u0440\u0443\u0434\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u044f\u0437\u044b\u043a\u0438, \u0441\u0445\u0435\u043c\u0430, \u0433\u0440\u044f\u0437\u043d\u044b\u0439 \u0432\u0445\u043e\u0434BoolQ, Yelp\u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0434\u0430\/\u043d\u0435\u0442, \u043e\u0442\u0437\u044b\u0432\u044b2 \u0438 5 \u0443\u0440\u043e\u0432\u043d\u0435\u0439\u0442\u0438\u043f\u044b \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 noul \u0438 score\u0420\u0430\u0441\u043a\u0440\u044b\u0442\u0438\u0435. \u0411\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u0443\u044e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u0438 \u0432 \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u00ab\u0431\u0430\u043d\u043a\u043e\u0432\u0441\u043a\u043e\u0433\u043e, \u043d\u043e \u043d\u0435 \u043f\u043e \u0441\u0445\u0435\u043c\u0435\u00bb \u0432\u0445\u043e\u0434\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0430 10 \u043d\u0430\u043f\u0438\u0441\u0430\u043b Claude (Opus 5.5); \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u0447\u0443\u0436\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 \u2014 \u0441\u0443\u0431\u0430\u0433\u0435\u043d\u0442 \u043d\u0430 Claude Sonnet. \u041d\u0438 \u043e\u0434\u043d\u0430 \u0438\u0437 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Anthropic \u043d\u0435 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442. \u0421\u0430\u043c\u044b\u0439 \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0451 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Jev \u043d\u0430\u0434 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435.\u041f\u0440\u0430\u0432\u0438\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u044b \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u0435\u043b:\u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u043d\u043e\u0435 (\u0442\u0435\u0441\u0442 \u041c\u0430\u043a\u043d\u0435\u043c\u0430\u0440\u0430); \u043f\u0440\u0438 \u0441\u0435\u043c\u044c\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u2014 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u0425\u043e\u043b\u043c\u0430;\u00ab\u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u00bb \u0437\u043d\u0430\u0447\u0438\u0442 \u00ab\u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e\u00bb, \u0438 \u0440\u044f\u0434\u043e\u043c \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: \u043a\u0430\u043a\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0449\u0451 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442;\u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u2014 \u043f\u0440\u0438\u043c\u0435\u0440: \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u043b\u0438\u043d\u0430\u0445, \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445 \u0438\u043b\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445, \u044d\u0442\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0433\u043e, \u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u043e\u043c \u043f\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u043d\u044b\u043c \u0423\u0438\u043b\u043a\u043e\u043a\u0441\u043e\u043d\u043e\u043c, \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u0425\u043e\u043b\u043c\u0430 \u2014 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u043c\u044c\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430;\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0441\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0448\u0443\u043c: \u0434\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 0.47% \u043c\u0435\u0442\u043e\u043a. \u0414\u043e\u043b\u044f \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0445\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u044d\u0442\u0438\u043c \u0448\u0443\u043c\u043e\u043c, \u0430 \u043d\u0435 \u0441 \u043d\u0443\u043b\u0451\u043c;GPT \u043f\u043e\u043b\u0443\u0447\u0430\u043b \u0442\u043e\u0442 \u0436\u0435 \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438, structured output, temperature = 0; \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c GPT \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u0430-\u043c\u0435\u0442\u043a\u0438 \u0438\u0437 top_logprobs = 20 \u043d\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u043a\u0438, \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u0441\u0445\u0435\u043c\u044b (\u0434\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u044b \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u044f \u043c\u0430\u0441\u0441\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: \u043d\u0438\u0436\u0435 0.99 \u2014 \u0443 0.25% \u043e\u0442\u0432\u0435\u0442\u043e\u0432 gpt-4.1-nano \u0438 \u043d\u0438 \u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 gpt-4.1-mini). \u042d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c GPT, \u0430 \u043d\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439: \u043f\u0440\u043e\u0441\u044c\u0431\u0443 \u043a \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0441\u0435\u0431\u044f \u0438\u043b\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.\u0415\u0441\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u0435 \u0440\u043e\u0443\u0442\u0438\u043d\u0433 \u043d\u0430 GPT. \u0422\u0430\u043a\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u2014 \u043f\u043e \u043f\u0435\u0440\u0432\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u043c\u0435\u0442\u043a\u0438 \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0441\u043d\u044f\u0442\u044c, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043c\u0435\u0442\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u043f\u0435\u0440\u0432\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c. \u041c\u0435\u0442\u043a\u0438 lightsoff, lightscolor \u0438 lightson \u0434\u0435\u043b\u044f\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d, \u0438 \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u0438\u0442\u044c. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u043d\u0430 30 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u043f\u044f\u0442\u044c \u043c\u0435\u0442\u043e\u043a \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u0442\u044c; \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438 \u0438\u043c\u044f \u043c\u0435\u0442\u043a\u0438 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 (\u0440\u0430\u0437\u0434\u0435\u043b 5).1. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u0446\u0435\u043d\u0430\u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 OpenAI. \u0423 Jev \u0435\u0441\u0442\u044c confidence, \u0438 \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u2014 \u0435\u0441\u043b\u0438 \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u0436\u0435, \u0442\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u0431\u043b\u0438\u0437\u043a\u0438\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u043d\u0435\u0440\u0438\u0437\u043e\u043d\u0438\u043d\u0433\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 logprobs: \u043f\u043e \u043d\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u042f \u043d\u0430\u0447\u0430\u043b \u0441 gpt-4.1-nano \u0438 \u0434\u0432\u0438\u0433\u0430\u043b\u0441\u044f \u0432\u0432\u0435\u0440\u0445 \u043f\u043e \u043b\u0438\u043d\u0435\u0439\u043a\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0443\u0432\u0438\u0434\u0435\u043b \u044f\u0441\u043d\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443. \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 gpt-5-*, \u043c\u043e\u0434\u0435\u043b\u0438 \u0443 OpenAI \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u044e\u0449\u0438\u0435 \u0438 logprobs \u043d\u0435 \u043e\u0442\u0434\u0430\u044e\u0442, \u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0435 \u043f\u0440\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0443\u0436\u0435 \u0434\u043e gpt-5-mini. \u0415\u0451 \u044f \u0432\u0437\u044f\u043b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u0447\u0435\u043a \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438; \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u043c\u044b\u0441\u043b\u0430.\u041f\u0435\u0440\u0432\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u0431\u0430\u043d\u043a\u0430 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c, 10 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u043f\u0435\u0440\u0435\u0432\u043e\u0434, PIN, \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430 \u043a\u0430\u0440\u0442\u044b \u0438 \u0442.\u043f.), 400 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0412\u0441\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u044f \u0434\u0430\u0432\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c\u0438, \u0431\u0435\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (\u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 zero-shot):Jevgpt-4.1-nanogpt-4.1-minigpt-5-mini\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c97.8%93.5%97.0%98.8%\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441 Jev\u2014Jev \u043b\u0443\u0447\u0448\u0435 (p = 0.0009)\u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430\u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430\u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430 p50 \/ p95346 \/ 437 \u043c\u0441898 \/ 1454 \u043c\u0441846 \/ 1259 \u043c\u04412715 \/ 3443 \u043c\u0441$ \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439$23$29$118$275\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u043a\u0443 \u00ab\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441 Jev\u00bb: \u0443 gpt-4.1-nano \u043e\u0442\u0441\u0442\u0430\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u2014 \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u0431\u044b\u043b \u0431\u044b \u043a\u0440\u0430\u0439\u043d\u0435 \u0440\u0435\u0434\u043e\u043a (p = 0.0009). \u0423 gpt-4.1-mini \u0438 gpt-5-mini \u0446\u0438\u0444\u0440\u044b \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 Jev \u043d\u0430 1 \u043f.\u043f. \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043d\u043e \u043d\u0430 400 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0442\u0430\u043a\u0443\u044e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438: \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b, \u0430 \u043d\u0435 \u00ab\u0440\u0430\u0432\u043d\u044b\u00bb.\u0412\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u044f \u0438\u0437\u043c\u0435\u0440\u044f\u043b \u0447\u0435\u0440\u0435\u0437 OpenRouter \u0443 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u0442\u043e\u0447\u043a\u0430 \u0432\u0445\u043e\u0434\u0430 \u0431\u044b\u043b\u0430 \u043e\u0431\u0449\u0435\u0439, \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0441 \u043c\u0430\u0448\u0438\u043d\u044b \u043d\u0430 \u041a\u0438\u043f\u0440\u0435; \u043f\u0435\u0440\u0432\u044b\u0435 5 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u2014 \u043f\u0440\u043e\u0433\u0440\u0435\u0432, \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043d\u0435 \u0448\u043b\u0438. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440 \u0447\u0435\u0440\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0438 \u00ab\u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u043a\u0441\u0438 \/ \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e\u00bb \u0434\u0430\u043b \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043e\u043a\u043e\u043b\u043e 17 \u043c\u0441 \u0443 Jev \u0438 \u043e\u043a\u043e\u043b\u043e 214 \u043c\u0441 \u0443 gpt-4.1-nano, \u0442\u0430\u043a \u0447\u0442\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441\u043a\u043e\u0440\u0435\u0435 \u0437\u0430\u043d\u0438\u0436\u0430\u0435\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Jev. \u0426\u0435\u043d\u044b \u2014 \u043f\u043e \u0442\u0430\u0440\u0438\u0444\u0430\u043c \u043d\u0430 \u0434\u0430\u0442\u0443 \u0437\u0430\u043c\u0435\u0440\u0430.\u0413\u0434\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438. \u041d\u0430&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-496927","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/496927","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=496927"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/496927\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=496927"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=496927"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=496927"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}