{"id":471869,"date":"2025-08-23T15:15:54","date_gmt":"2025-08-23T15:15:54","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=471869"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=471869","title":{"rendered":"<span>Time Horizon \u043c\u043e\u0434\u0435\u043b\u0435\u0439 AI: \u043f\u043e\u0447\u0435\u043c\u0443 \u0440\u043e\u0441\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u0444\u0435\u0440\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/18f\/69b\/e5f\/18f69be5fbfaf876d4bd656ac3f4c0d3.png\" alt=\"\u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u043c \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u043c \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 s=0.2, k=1. \u0414\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e \u043e\u0441\u0438 Y \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u043e\u0442 2-\u0433\u043e \u0434\u043e 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u044f).\" title=\"\u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u043c \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u043c \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 s=0.2, k=1. \u0414\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e \u043e\u0441\u0438 Y \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u043e\u0442 2-\u0433\u043e \u0434\u043e 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u044f).\" width=\"1564\" height=\"934\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/18f\/69b\/e5f\/18f69be5fbfaf876d4bd656ac3f4c0d3.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/18f\/69b\/e5f\/18f69be5fbfaf876d4bd656ac3f4c0d3.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><em>\u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 <\/em><a href=\"https:\/\/docs.scipy.org\/doc\/scipy\/reference\/generated\/scipy.interpolate.make_splrep.html#scipy.interpolate.make_splrep\" rel=\"noopener noreferrer nofollow\"><em>\u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u043c \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u043c<\/em><\/a><em> \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 s=0.2, k=1. \u0414\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e \u043e\u0441\u0438 Y \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u043e\u0442 2-\u0433\u043e \u0434\u043e 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u044f).<\/em><\/figcaption><\/div>\n<\/figure>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438<\/h2>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/metr.org\/blog\/2025-03-19-measuring-ai-ability-to-complete-long-tasks\/\" rel=\"noopener noreferrer nofollow\">Measuring AI Ability to Complete Long Software Tasks<\/a> (Kwa &amp; West \u0438 \u0434\u0440., 2025) \u043a\u043e\u043c\u0430\u043d\u0434\u0430 METR \u0432\u0432\u0435\u043b\u0430 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 50% <strong>time horizon<\/strong> \u043c\u043e\u0434\u0435\u043b\u0438: \u044d\u0442\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 (\u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0435\u0442\u0435 \u043d\u0430 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c), \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e 50%. \u041c\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 time horizon \u0443 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0445 \u0441 2019 \u0433\u043e\u0434\u0430, \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0435\u043c \u0442\u0440\u0438 \u043d\u0430\u0431\u043e\u0440\u0430 \u0437\u0430\u0434\u0430\u0447 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u0441 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442 1 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0434\u043e 16 \u0447\u0430\u0441\u043e\u0432 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 (<strong>HCAST<\/strong>, <strong>RE-Bench<\/strong> \u0438 <strong>SWAA<\/strong>; \u0434\u0430\u043b\u0435\u0435 \u2014 <strong>METR-HRS<\/strong>). METR \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0430, \u0447\u0442\u043e time horizon <strong>\u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/strong> \u043a\u0430\u0436\u0434\u044b\u0435 7 \u043c\u0435\u0441\u044f\u0446\u0435\u0432, \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u0434\u043e 4 \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u0432 2024 \u0433\u043e\u0434\u0443.<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0431\u044b\u043b <strong>\u0434\u043e\u043c\u0435\u043d<\/strong> \u0437\u0430\u0434\u0430\u0447: \u0432\u0441\u0435 \u043e\u043d\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u043b\u0438\u0441\u044c \u043a \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0439 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 \u0438\u043b\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0434\u0435\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 AI \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0438\u043f\u0430\u043c\u0438 \u0437\u0430\u0434\u0430\u0447<a href=\"#%5B1%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[1]<\/sup><\/strong><\/a>. \u0412 \u044d\u0442\u043e\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f  \u043b\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u0442\u0440\u0435\u043d\u0434\u044b \u043a \u0434\u0440\u0443\u0433\u0438\u043c \u0442\u0438\u043f\u0430\u043c \u0437\u0430\u0434\u0430\u0447, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u0435 \u0432\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0430, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044e, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0443\u044e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c time horizon \u043d\u0430 \u043c\u0435\u043d\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0414\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043c\u0435\u043d\u0435\u0435 \u043d\u0430\u0434\u0435\u0436\u043d\u044b \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u043e\u0439, \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0443 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0442\u0440\u0430\u043a\u0442\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0448\u0443\u043c\u043d\u044b\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u043e\u043d\u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u0445\u043e\u0436\u0443\u044e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0443.<\/p>\n<p>\u0414\u043e\u043c\u0435\u043d \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0438 reasoning-\u0437\u0430\u0434\u0430\u0447 \u2014 \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u043d\u0430\u0443\u0447\u043d\u044b\u0435 QA (<a href=\"https:\/\/github.com\/idavidrein\/gpqa\" rel=\"noopener noreferrer nofollow\">GPQA<\/a>), \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f (<a href=\"https:\/\/github.com\/hendrycks\/math\" rel=\"noopener noreferrer nofollow\">MATH<\/a>, <a href=\"https:\/\/huggingface.co\/datasets\/EpochAI\/otis-mock-aime-24-25\" rel=\"noopener noreferrer nofollow\">Mock AIME<\/a>), \u043f\u043e\u043b\u0443\u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e (<a href=\"https:\/\/metr.org\/blog\/2025-03-19-measuring-ai-ability-to-complete-long-tasks\/\" rel=\"noopener noreferrer nofollow\">METR-HRS<\/a>) \u0438 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (<a href=\"https:\/\/livecodebench.github.io\/leaderboard.html\" rel=\"noopener noreferrer nofollow\">LiveCodeBench<\/a>) \u2014 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 time horizon \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 50\u2013200+ \u043c\u0438\u043d\u0443\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0435 2\u20136 \u043c\u0435\u0441\u044f\u0446\u0435\u0432. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, <strong>~100-\u043c\u0438\u043d\u0443\u0442\u043d\u044b\u0435 time horizons \u0438 ~4-\u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f, \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u043d\u0430 METR-HRS \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c<\/strong>.<\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043e\u043c (OSWorld, WebArena) time horizon \u0432 40\u2013100 \u0440\u0430\u0437 \u043a\u043e\u0440\u043e\u0447\u0435, \u0447\u0435\u043c \u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 reasoning \u0438 software, \u043d\u043e \u0442\u0435\u043c\u043f \u0440\u043e\u0441\u0442\u0430 \u2014 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439. \u0412 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442\u0430 (Tesla FSD) \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0438\u0434\u0443\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435: \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 0.6 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f \u0432 \u0433\u043e\u0434. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u0438\u0434\u0435\u043e\u00a0(VideoMME, CGBench) \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u0432\u0438\u0434\u0435\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u043a\u043e\u043b\u043e \u0447\u0430\u0441\u0430 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e &gt;50%, \u043e\u0434\u043d\u0430\u043a\u043e \u0441\u0430\u043c time horizon \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u043c\u0435\u043d\u0430. \u041d\u0438 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 \u043d\u0435 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u044f\u0432\u043d\u043e \u0441\u0443\u0431\u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0430.<\/p>\n<p>\u0421 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u0440 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0435\u043d, \u0447\u0435\u043c \u043b\u044e\u0431\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u043c\u043e\u0436\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c, \u0447\u0442\u043e time horizons \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u043d\u043e\u0433\u0438\u0435 \u0438\u0437 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0445 time horizon \u2014 \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445; \u043d\u0438\u0436\u0435 \u043c\u044b \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0432 \u0442\u0435\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u0433\u0434\u0435 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0418\u0418 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043b\u0438\u0448\u044c \u043d\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0438\u043b\u0438 \u043c\u0438\u043d\u0443\u0442\u044b, \u0432 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 5 \u043b\u0435\u0442 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u043e\u0441\u0442 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e time horizons, \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0445 \u0434\u043d\u044f\u043c\u0438 \u0438 \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%5B1%5D\" id=\"[1]\"><\/a><\/p>\n<p><strong><sup>[1]<\/sup><\/strong><sup> \u0414\u0430\u0436\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0434\u043e\u043c\u0435\u043d\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f\u043c \u0432 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0418\u0418 \u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u0412\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u0448\u0430\u0445\u043c\u0430\u0442\u044b,Go \u0438 \u043f\u043e\u043a\u0435\u0440 \u2014 \u0442\u0440\u0438 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0433\u0440. \u0421\u0432\u0435\u0440\u0445\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0448\u0430\u0445\u043c\u0430\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0431\u044b\u043b \u0441\u043e\u0437\u0434\u0430\u043d \u0432 1997 \u0433\u043e\u0434\u0443, \u043e\u0434\u043d\u0430\u043a\u043e \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 G\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043a\u043e\u0440\u0438\u0442\u044c \u043b\u0438\u0448\u044c \u0432 2016 \u0433\u043e\u0434\u0443, \u0430 \u043f\u043e\u043a\u0435\u0440 \u2014 \u0432 \u043f\u0435\u0440\u0438\u043e\u0434 \u0441 2017 \u043f\u043e 2019 \u0433\u043e\u0434. \u0422\u0430\u043c\u0430\u0439 \u0411\u0435\u0440\u0441\u0438\u043b\u043e\u0433\u043b\u0443 \u043e\u0442\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u0448\u0430\u0445\u043c\u0430\u0442\u043d\u044b\u0435 \u0434\u0432\u0438\u0436\u043a\u0438, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 time horizon, \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u043c <\/sup><a href=\"https:\/\/x.com\/tamaybes\/status\/1902537990062342547\" rel=\"noopener noreferrer nofollow\"><sup>\u0433\u043e\u0434\u0430\u043c\u0438<\/sup><\/a><sup>.<\/sup><\/p>\n<h2>\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f<\/h2>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u043c\u044b \u043e\u0442\u043e\u0431\u0440\u0430\u043b\u0438 9 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 (a) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0438 (b) \u0438\u043c\u0435\u044e\u0442 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u044b\u0445 AI-\u0430\u0433\u0435\u043d\u0442\u043e\u0432. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0443\u044e \u0442\u043e\u0439, \u0447\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u0433\u0434\u0435 <em>h<sub>agent<\/sub><\/em> \u2014 \u044d\u0442\u043e 50% time horizon, <em>t<sub>task<\/sub><\/em> \u2014 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438, \u0430 <em>\u03b2<\/em><sub>agent<\/sub> \u2014 \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u0435\u043c\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0430\u043a\u043b\u043e\u043d\u0430, \u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0432\u043e\u0434\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 <em>c<sub>task<\/sub><\/em> \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"p_{\\text{success}}(\\text{agent}, \\text{task}) = c_{\\text{task}} + (1\u00a0\u2014 c_{\\text{task}}) \\sigma((\\log h_{\\text{agent}}\u00a0\u2014 \\log t_{\\text{task}}) \\cdot \\beta_{\\text{agent}})\" alt=\"p_{\\text{success}}(\\text{agent}, \\text{task}) = c_{\\text{task}} + (1\u00a0\u2014 c_{\\text{task}}) \\sigma((\\log h_{\\text{agent}}\u00a0\u2014 \\log t_{\\text{task}}) \\cdot \\beta_{\\text{agent}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8e\/738\/585\/f8e7385854b3a3fec4004f8ae66a0dbb.svg\" width=\"583\" height=\"23\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8e\/738\/585\/f8e7385854b3a3fec4004f8ae66a0dbb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8e\/738\/585\/f8e7385854b3a3fec4004f8ae66a0dbb.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c4b\/b91\/732\/c4bb917328a712320383a68b49fd3d13.png\" width=\"1050\" height=\"600\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c4b\/b91\/732\/c4bb917328a712320383a68b49fd3d13.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c4b\/b91\/732\/c4bb917328a712320383a68b49fd3d13.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b (\u0430\u0433\u0435\u043d\u0442, \u0437\u0430\u0434\u0430\u0447\u0430) \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u043b\u0441\u044f \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043a\u043e\u0440, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438, \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0432\u0441\u0451\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0432\u043e\u0439.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0438\u043b\u0438 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u043c \u0437\u0430\u0434\u0430\u0447 \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 easy\/medium\/hard \u0432 LiveCodeBench), \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (MLE), \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <em>h<sub>agent<\/sub><\/em> \u0438 <em>\u03b2<sub>agent<\/sub><\/em>, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u044e\u0449\u0438\u0435\u0441\u044f \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[2]<\/sup><\/strong><\/a>. \u0415\u0441\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0443 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u03b2 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u0435 0.25 (\u0447\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0443 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0448\u0430\u043d\u0441\u043e\u0432 \u043d\u0430 \u043d\u0435\u0443\u0441\u043f\u0435\u0445 \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0432 1.28 \u0440\u0430\u0437\u0430 \u043f\u0440\u0438 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438), \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u043b\u0430\u0431\u043e\u0439 \u0434\u043b\u044f \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 time horizon \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0442\u0430\u043a\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u043a\u043e\u0440, \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u043a\u00a0 <em>h<sub>agent<\/sub><\/em>, \u0442\u0430\u043a \u0438 <em>\u03b2<sub>agent<\/sub><\/em>. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e <em>\u03b2<sub>agent<\/sub><\/em> \u0440\u0430\u0432\u0435\u043d \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0443 METR-HRS, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 0.6. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>h<sub>agent<\/sub><\/em> \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u043e \u0441 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u043c \u0430\u0433\u0435\u043d\u0442\u0430 <em>s<sub>agent<\/sub><\/em>, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 <em>t<sub>task<\/sub><\/em><a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[3]<\/sup><\/strong><\/a><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"h_{\\text{agent}} \\text{ s.t. } \\Sigma_{\\text{task} \\in \\text{benchmark}} [\\sigma((\\log h_{\\text{agent}} - \\log t_{\\text{task}}) \\cdot \\beta)] = s_{\\text{agent}}\" alt=\"h_{\\text{agent}} \\text{ s.t. } \\Sigma_{\\text{task} \\in \\text{benchmark}} [\\sigma((\\log h_{\\text{agent}} - \\log t_{\\text{task}}) \\cdot \\beta)] = s_{\\text{agent}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/989\/8ba\/c619898baf50054d513ae5e610428bf7.svg\" width=\"501\" height=\"23\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/989\/8ba\/c619898baf50054d513ae5e610428bf7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/989\/8ba\/c619898baf50054d513ae5e610428bf7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u0438 \u043e\u0446\u0435\u043d\u043a\u0435 time horizon \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435, \u043e\u043d \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434 MLE. \u041c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c, \u043a\u043e\u0433\u0434\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0438 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c time horizon.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"center\"><strong>\u0414\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0441\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f (Kwa &amp; West et al., 2025)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430  <\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0446\u0435\u043d\u043a\u0430 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u2014 \u0437\u0430\u043c\u0435\u0440\u044b \u043d\u0430 \u043b\u044e\u0434\u044f\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\u0414\u0430\u043d\u043d\u044b\u0435 \u043e\u0431 \u0443\u0441\u043f\u0435\u0445\u0430\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">% \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u043f\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u043c \u0437\u0430\u0434\u0430\u0447; \u0437\u0430\u043f\u0430\u0441\u043d\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u043e\u0431\u0449\u0438\u0439 % \u0443\u0441\u043f\u0435\u0445\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u043f\u043e 8 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u0430\u0440\u0443 \u0437\u0430\u0434\u0430\u0447\u0430\u2013\u0430\u0433\u0435\u043d\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\u041c\u0435\u0442\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">MLE \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 h \u0438 \u03b2; \u0437\u0430\u043f\u0430\u0441\u043d\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u03b2, \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u0434\u043b\u044f h<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 time horizon \u0438 \u043d\u0430\u043a\u043b\u043e\u043d\u0430 \u03b2<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0442\u0440\u0435\u043d\u0434\u043b\u0430\u0439\u043d, \u043c\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0441 horizon \u0432\u044b\u0448\u0435 \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f) \u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u043c<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[4]<\/sup><\/strong><\/a>.<\/p>\n<p>\u041d\u0430 METR-HRS \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f time horizon, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438, \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u043e\u0439, \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0432 2 \u0440\u0430\u0437\u0430 (\u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438) \u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043b\u0435\u0436\u0430\u0442 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u00b1 25%. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435, \u043f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443, \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0440\u0430\u0437\u043d\u044b\u043c \u0432\u0435\u0441\u043e\u043c \u0437\u0430\u0434\u0430\u0447 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0438\u0445 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[5]<\/sup><\/strong><\/a>.<\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u043c\u044b \u0432\u043d\u0435\u0441\u043b\u0438 \u0434\u0432\u0430 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u0439 \u043e time horizon. <\/p>\n<p><strong>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445<\/strong>, \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u043b\u0438\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c <strong>\u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u0443\u0441\u043f\u0435\u0445\u0430<\/strong> (<em>conditional on success<\/em>). \u0417\u0434\u0435\u0441\u044c \u0436\u0435 \u043c\u044b \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043d\u0438\u0437\u043a\u0430\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0442\u0440\u0443\u0434\u043d\u0435\u0435, \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0435\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{\\mathbb{E}[t \\mid \\text{success}]}{p(\\text{success})}\" alt=\"\\frac{\\mathbb{E}[t \\mid \\text{success}]}{p(\\text{success})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db3\/c63\/05f\/db3c6305fb129925ccf4c474aa79dbdf.svg\" width=\"113\" height=\"50\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db3\/c63\/05f\/db3c6305fb129925ccf4c474aa79dbdf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db3\/c63\/05f\/db3c6305fb129925ccf4c474aa79dbdf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u0435\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u0443\u0441\u043f\u0435\u0445\u0430 \u0443 \u043b\u044e\u0434\u0435\u0439<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[6]<\/sup><\/strong><\/a>.<\/p>\n<p><strong>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445<\/strong>, \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0430 <strong>\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/strong> <em>(chance accuracy)<\/em> \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0432\u044b\u0431\u043e\u0440\u043e\u043c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e <em>c<sub>task<\/sub><\/em> <a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[7]<\/sup><\/strong><\/a>. <\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u043d\u043d\u044b\u0445 Tesla FSD \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0438\u043d\u0430\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b <em>&#171;<\/em><a href=\"#podrobnosti-po-otdelnym-benchmarkam\" rel=\"noopener noreferrer nofollow\"><em>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c<\/em><\/a><em>&#171;<\/em>). <\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0437\u0434\u0435\u0441\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c time horizon \u0431\u0435\u0437 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u03b2, \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043e\u0446\u0435\u043d\u043a\u0435 time horizon \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[8]<\/sup><\/strong><\/a>.<\/p>\n<p>\u041d\u0430\u0448 \u043a\u043e\u0434 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c <a href=\"https:\/\/github.com\/METR\/cross-domain-horizon\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a>.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%5B2-8%5D\" id=\"[2-8]\"><\/a><\/p>\n<p><strong><sup>[2]<\/sup><\/strong><sup> \u042d\u0442\u043e \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u043f\u043e\u043b\u043d\u044b\u0439 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u0438 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443 \u043d\u0430\u0441 \u0441\u043b\u0430\u0431\u044b\u0435 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e horizon \u0438 slope, \u043c\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c MAP.<\/sup><\/p>\n<p><strong><sup>[3]<\/sup><\/strong><sup> \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u043f\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u043a <\/sup><em><sup>h<sub>agent<\/sub><\/sup><\/em><sup>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a.<\/sup><\/p>\n<p><strong><sup>[4]<\/sup><\/strong><sup> \u042d\u0442\u043e \u0434\u0430\u0442\u0430 \u0440\u0435\u043b\u0438\u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438; \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043b\u0438\u0434\u0435\u0440\u043e\u0432 OSWorld \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u043a\u043e\u043b\u043e 7B, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0434\u043b\u044f <\/sup><a href=\"https:\/\/osworld-grounding.github.io\/\" rel=\"noopener noreferrer nofollow\"><sup>GUI-grounding<\/sup><\/a><sup>.<\/sup><\/p>\n<p><strong><sup>[5]<\/sup><\/strong><sup> \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u00ab\u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u0437\u0430\u0434\u0430\u0447\u00bb \u0441 \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0442\u0438\u043f\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430).<\/sup><\/p>\n<p><strong><sup>[6]<\/sup><\/strong><sup> \u0421\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0432\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0442\u0440\u0430\u0442\u0438\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a (\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0438\u0437 \u043f\u043e\u043f\u0443\u043b\u044f\u0446\u0438\u0438) \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041a\u043e\u0440\u0440\u0435\u043a\u0446\u0438\u044f \u043f\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043b\u044f OSWorld, MATH \u0438 AIME. \u041c\u044b \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u0443 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u043a\u0443 \u0434\u043b\u044f METR-HRS, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u043d\u043e\u0433\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 baseline \u0431\u044b\u043b\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c\u0438, \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b\u043c\u0438 \u043a \u043c\u043e\u0434\u0435\u043b\u044f\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u044b \u0438\u043b\u0438 \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u0438); \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043c\u0435\u0449\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0438 horizon \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u043c\u0438.  <\/sup><\/p>\n<p><strong><sup>[7]<\/sup><\/strong><sup> <\/sup><em><sup>C<sub>task<\/sub><\/sup><\/em><sup> \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u044b\u043c \u043d\u0443\u043b\u044e \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c, 1\/n \u2014 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u0438\u0437 n \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043e\u0442\u0432\u0435\u0442\u0430, \u0438 1\/1000 \u2014 \u0434\u043b\u044f AIME, \u0433\u0434\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u2014 \u0446\u0435\u043b\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u043e\u0442 0 \u0434\u043e 999 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e.<\/sup><\/p>\n<p><strong><sup>[8] <\/sup><\/strong><sup>\u0415\u0441\u043b\u0438 \u03b2 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u043e, time horizon \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u043f\u0440\u0438\u0433\u043e\u0434\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439; \u0441\u043c. \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435.<\/sup><\/p>\n<h2>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c89\/357\/eb5\/c89357eb5913ab4698740b6020ca6df7.png\" alt=\"\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443\" title=\"\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443\" width=\"1256\" height=\"604\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c89\/357\/eb5\/c89357eb5913ab4698740b6020ca6df7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c89\/357\/eb5\/c89357eb5913ab4698740b6020ca6df7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><a href=\"https:\/\/docs.google.com\/spreadsheets\/d\/1HFmeppcq0203_6uQxD2FX07qtZGwbcslbVdKmCknAcY\/edit?usp=sharing\" rel=\"noopener noreferrer nofollow\"><em>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/em><\/a><\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/904\/5c8\/b93\/9045c8b931493464ecde0185ba526228.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1: \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c (\u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d \u0438\u0437-\u0437\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445). \u0411\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1: \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c (\u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d \u0438\u0437-\u0437\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445). \u0411\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.\" width=\"1500\" height=\"900\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/904\/5c8\/b93\/9045c8b931493464ecde0185ba526228.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/904\/5c8\/b93\/9045c8b931493464ecde0185ba526228.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1:<\/em><\/strong><em> \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c (\u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d \u0438\u0437-\u0437\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445). \u0411\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.<\/em><\/figcaption><\/div>\n<\/figure>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n<h3>\u0422\u0440\u0435\u043d\u0434\u044b \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445<\/h3>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/054\/c91\/98d\/054c9198d06d46c9f9fc717205fc2240.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2: \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430. \u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 (\u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043b\u0430\u0439\u043d \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 s=0.2, k=1). \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0441\u0438 Y \u0432 \u0441\u043f\u043b\u043e\u0448\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043b\u0438\u043d\u0438\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u043e\u0442 2-\u0433\u043e \u0434\u043e 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u044f). \u041f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u044b\u0435 \u043b\u0438\u043d\u0438\u0438 \u2014 \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0437\u0430\u0434\u0430\u0447. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, o3-mini \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 97.9% \u043d\u0430 MATH \u0438 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 time horizon \u0432 363 \u043c\u0438\u043d\u0443\u0442\u044b, \u043d\u043e \u0441\u0430\u043c\u0430\u044f \u0434\u043b\u0438\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0432 MATH \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043e\u043a\u043e\u043b\u043e 25 \u043c\u0438\u043d\u0443\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 time bucket, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c o3-mini \u0434\u043e\u0441\u0442\u0438\u0433 \u0431\u044b 50% \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438.\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2: \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430. \u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 (\u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043b\u0430\u0439\u043d \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 s=0.2, k=1). \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0441\u0438 Y \u0432 \u0441\u043f\u043b\u043e\u0448\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043b\u0438\u043d\u0438\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u043e\u0442 2-\u0433\u043e \u0434\u043e 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u044f). \u041f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u044b\u0435 \u043b\u0438\u043d\u0438\u0438 \u2014 \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0437\u0430\u0434\u0430\u0447. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, o3-mini \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 97.9% \u043d\u0430 MATH \u0438 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 time horizon \u0432 363 \u043c\u0438\u043d\u0443\u0442\u044b, \u043d\u043e \u0441\u0430\u043c\u0430\u044f \u0434\u043b\u0438\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0432 MATH \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043e\u043a\u043e\u043b\u043e 25 \u043c\u0438\u043d\u0443\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 time bucket, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c o3-mini \u0434\u043e\u0441\u0442\u0438\u0433 \u0431\u044b 50% \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438.\" width=\"1800\" height=\"1200\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/054\/c91\/98d\/054c9198d06d46c9f9fc717205fc2240.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/054\/c91\/98d\/054c9198d06d46c9f9fc717205fc2240.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2:<\/em><\/strong><em> \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430. \u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 (<\/em><a href=\"https:\/\/docs.scipy.org\/doc\/scipy\/reference\/generated\/scipy.interpolate.make_splrep.html#scipy.interpolate.make_splrep\" rel=\"noopener noreferrer nofollow\"><em>\u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043b\u0430\u0439\u043d<\/em><\/a><em> \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 s=0.2, k=1). \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0441\u0438 Y \u0432 <\/em><strong><em>\u0441\u043f\u043b\u043e\u0448\u043d\u043e\u0439<\/em><\/strong><em> \u0447\u0430\u0441\u0442\u0438 \u043b\u0438\u043d\u0438\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u043e\u0442 2-\u0433\u043e \u0434\u043e 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u044f). <\/em><strong><em>\u041f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u044b\u0435<\/em><\/strong><em> \u043b\u0438\u043d\u0438\u0438 \u2014 \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0437\u0430\u0434\u0430\u0447. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, o3-mini \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 97.9% \u043d\u0430 <\/em><strong><em>MATH<\/em><\/strong><em> \u0438 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 time horizon \u0432 363 \u043c\u0438\u043d\u0443\u0442\u044b, \u043d\u043e \u0441\u0430\u043c\u0430\u044f \u0434\u043b\u0438\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0432 <\/em><strong><em>MATH <\/em><\/strong><em>\u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043e\u043a\u043e\u043b\u043e 25 \u043c\u0438\u043d\u0443\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 time bucket, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c o3-mini \u0434\u043e\u0441\u0442\u0438\u0433 \u0431\u044b 50% \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438.<\/em><\/figcaption><\/div>\n<\/figure>\n<h4>\u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u0432\u044b\u0432\u043e\u0434<\/h4>\n<p>\u0418\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u043e\u043c\u0435\u043d\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u043d\u0430\u0443\u0447\u043d\u044b\u0435 QA (GPQA), \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u044b (MATH, AIME) \u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (METR-HRS, LiveCodeBench), \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 time horizon \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 50\u2013200 \u043c\u0438\u043d\u0443\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0435 2\u20136 \u043c\u0435\u0441\u044f\u0446\u0435\u0432. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0435 \u0432 <strong>METR-HRS \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u044b \u043f\u043e\u0440\u044f\u0434\u043a\u0430 100 \u043c\u0438\u043d\u0443\u0442 \u0438 \u0432\u0440\u0435\u043c\u044f \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f \u043e\u043a\u043e\u043b\u043e 4 \u043c\u0435\u0441\u044f\u0446\u0435\u0432 (\u0441 2024 \u0433\u043e\u0434\u0430) \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c<\/strong>.<\/p>\n<h4>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f<\/h4>\n<ul>\n<li>\n<p>\u041f\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u043d\u0430 \u043c\u0430\u0440\u0442 2025 \u0433\u043e\u0434\u0430 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u044b\u0439 time horizon \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043e\u043c, \u0431\u0443\u0434\u044c \u0442\u043e \u0441 DOM-\u0432\u0432\u043e\u0434\u043e\u043c (WebArena) \u0438\u043b\u0438 \u0441 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c (OSWorld), \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 <strong>50 \u0440\u0430\u0437 \u043a\u043e\u0440\u043e\u0447\u0435<\/strong>, \u0447\u0435\u043c \u0432 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445. \u041e\u0434\u043d\u0430 \u0438\u0437 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u2014 \u043f\u043b\u043e\u0445\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439: \u0430\u0432\u0442\u043e\u0440\u044b OSWorld \u043e\u0442\u043c\u0435\u0442\u0438\u043b\u0438, \u0447\u0442\u043e 75% \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0445 \u043a\u0435\u0439\u0441\u043e\u0432 \u0431\u044b\u043b\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043d\u0435\u0442\u043e\u0447\u043d\u044b\u043c\u0438 \u043a\u043b\u0438\u043a\u0430\u043c\u0438 \u043c\u044b\u0448\u0438<a href=\"#%5B10%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[10]<\/sup><\/strong><\/a>, \u0445\u043e\u0442\u044f \u044d\u0442\u043e \u0432\u0440\u044f\u0434 \u043b\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u0441\u043b\u0430\u0431\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 WebArena. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043c\u0435\u043d\u044c\u0448\u0438\u0439 time horizon, <strong>\u0432\u0440\u0435\u043c\u044f \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f<\/strong> \u0432 \u044d\u0442\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0438 \u043e\u0442\u0441\u0442\u0430\u0435\u0442 \u043e\u0442 &#171;\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e&#187; \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 <strong>2 \u0433\u043e\u0434\u0430<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u0442\u0441\u044f: <strong>Mock AIME<\/strong> \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0435 \u0437\u0430 ~3 \u043c\u0435\u0441\u044f\u0446\u0430,\u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a <strong>Tesla FSD<\/strong> \u2014 \u0437\u0430 ~20 \u043c\u0435\u0441\u044f\u0446\u0435\u0432. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, <strong>\u0432\u0441\u0435 \u0434\u043e\u043c\u0435\u043d\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u043b\u0438 \u0441\u043b\u0430\u0431\u043e \u0441\u0443\u043f\u0435\u0440\u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u043e\u0441\u0442<\/strong>. \u041d\u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u0443\u0431\u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u043e\u0441\u0442\u0430 \u0438\u043b\u0438 \u0441\u0442\u0430\u0433\u043d\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0432\u0438\u0434\u0435\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a <strong>Video-MME<\/strong> (\u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435), \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0434\u043b\u0438\u043d\u043e\u0439 \u0432\u0438\u0434\u0435\u043e \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u043b\u0430\u0431\u0430, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0434\u0435\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c time horizon. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0442 \u043f\u043e\u0440\u043e\u0433 \u0432 50% \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u043a\u043e\u043b\u043e \u0447\u0430\u0441\u0430.<\/p>\n<ul>\n<li>\n<p>\u0422\u0430\u043a, <strong>Gemini 1.5 Pro<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: 81.7% \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e &lt;2 \u043c\u0438\u043d\u0443\u0442, \u0438 67.4% \u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e 30\u201360 \u043c\u0438\u043d\u0443\u0442, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c: \u0435\u0433\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0443\u0441\u0442\u0438\u0442\u0441\u044f \u043d\u0438\u0436\u0435 50% \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0432\u0438\u0434\u0435\u043e <strong>\u0434\u043b\u0438\u043d\u043e\u0439 \u0431\u043e\u043b\u0435\u0435 1000 \u043c\u0438\u043d\u0443\u0442<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0433\u043e\u043d <strong>GPT-4o-mini<\/strong> \u043d\u0430 <strong>CG-Bench<\/strong>, \u0433\u0434\u0435 \u0430\u043d\u043d\u043e\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0435 \u043e\u0442\u0440\u0435\u0437\u043a\u0438 \u0432\u0438\u0434\u0435\u043e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b \u0432\u043e\u043f\u0440\u043e\u0441\u0443, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e <strong>\u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u0438\u0434\u0435\u043e \u043d\u0435\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0434\u043b\u0438\u043d\u043e\u0439 \u0432\u0438\u0434\u0435\u043e \u0438 \u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e<\/strong>, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c\u0438 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u043c, \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 time horizon \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u0430, \u0430 \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445 \u2014 \u043d\u0435\u0442. <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u0447\u0435\u043a \u0441 \u043d\u0438\u0437\u043a\u043e\u0439 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c (\u03b2&lt;0.25\\beta &lt; 0.25\u03b2&lt;0.25). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430 <strong>GPQA Diamond<\/strong> \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043a \u043d\u0430\u0441\u044b\u0449\u0435\u043d\u0438\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0438\u0436\u0435 \u043c\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0442\u0435 \u0436\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0440\u0430\u0437\u0431\u0438\u0442\u044b\u0435 \u043f\u043e \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u0438\u043a\u0430\u043c \u0438 \u0441 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c <strong>\u043d\u0435-\u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u044b\u0445<\/strong> \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a5f\/372\/199\/a5f372199bcc2f664ddf83523ddde9bd.png\" width=\"1800\" height=\"1800\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a5f\/372\/199\/a5f372199bcc2f664ddf83523ddde9bd.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a5f\/372\/199\/a5f372199bcc2f664ddf83523ddde9bd.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412\u0440\u0435\u043c\u0435\u043d\u0430 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043a\u0430\u043b\u0435\u043d\u0434\u0430\u0440\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c, \u043a\u0430\u043a \u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043b\u0430\u0439\u043d \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 2-\u0433\u043e \u0438 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u0435\u0439 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u0438\u043b\u0438 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430, \u0435\u0441\u043b\u0438 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043a\u043e\u0440\u043e\u0447\u0435).<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%5B10%5D\" id=\"[10]\"><\/a><\/p>\n<p><strong><sup>[10]<\/sup><\/strong><sup> \u0418\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 OSWorld: \u00ab\u0421\u0440\u0435\u0434\u0438 550 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 75% \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0438\u043a\u043e\u0432 \u043c\u044b\u0448\u044c\u044e, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439. \u0410\u0433\u0435\u043d\u0442 \u043d\u0435 \u0441\u043c\u043e\u0433 \u043a\u043b\u0438\u043a\u043d\u0443\u0442\u044c \u043f\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a \u043a\u043e\u0434\u0443 \u0431\u044b\u043b\u0438 \u0441\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0438 \u0442\u043e\u0447\u043d\u044b\u0435 \u0448\u0430\u0433\u0438, \u0447\u0442\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u0441\u043b\u0430\u0431\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044e\u00bb.<\/sup><\/p>\n<h3>\u041e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 time horizon<\/h3>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u043e\u0436\u0435\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0432\u043e\u0439, \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0430\u0433\u0435\u043d\u0442\u0430 \u03b7 \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u03b1:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"p_{\\text{success}}(\\text{agent}, \\text{task}) = \\sigma\\left( (\\log h_{\\text{agent}} - \\log t_{\\text{task}}) \\cdot \\beta_{\\text{agent}} \\right)\" alt=\"p_{\\text{success}}(\\text{agent}, \\text{task}) = \\sigma\\left( (\\log h_{\\text{agent}} - \\log t_{\\text{task}}) \\cdot \\beta_{\\text{agent}} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72a\/9d8\/3a8\/72a9d83a8ceb18965017d9b47ba21441.svg\" width=\"447\" height=\"23\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72a\/9d8\/3a8\/72a9d83a8ceb18965017d9b47ba21441.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72a\/9d8\/3a8\/72a9d83a8ceb18965017d9b47ba21441.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u0430\u043a\u0430\u044f \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430 \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 item response (IRT), \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0439 \u043f\u0440\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u0430\u043a \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u0442\u0430\u043a \u0438 \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u043b\u044e\u0434\u0435\u0439. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438, <a href=\"https:\/\/epoch.ai\/blog\/how-predictable-is-language-model-benchmark-performance\" rel=\"noopener noreferrer nofollow\">Epoch AI<\/a> \u0438 <a href=\"https:\/\/www.apolloresearch.ai\/blog\/forecasting-frontier-language-model-agent-capabilities\" rel=\"noopener noreferrer nofollow\">\u0434\u0440\u0443\u0433\u0438\u0435<\/a> \u043d\u0430\u0448\u043b\u0438 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0438 \u0442\u0430\u043a\u0438\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u043a\u0430\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432\u0440\u0435\u043c\u044f. METR \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u0435\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u044d\u0442\u043e\u0433\u043e \u0437\u0430\u043a\u043e\u043d\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"p_{\\text{success}}(\\text{agent}, \\text{task}) = \\sigma\\left( (\\eta_{\\text{agent}} - \\alpha_{\\text{task}}) \\cdot \\beta \\right)\" alt=\"p_{\\text{success}}(\\text{agent}, \\text{task}) = \\sigma\\left( (\\eta_{\\text{agent}} - \\alpha_{\\text{task}}) \\cdot \\beta \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd0\/bfc\/68f\/fd0bfc68f1881418c10c9b3186a2c072.svg\" width=\"360\" height=\"23\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd0\/bfc\/68f\/fd0bfc68f1881418c10c9b3186a2c072.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd0\/bfc\/68f\/fd0bfc68f1881418c10c9b3186a2c072.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c time horizon \u0431\u044b\u043b\u0430 \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0439, \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u0440\u043e\u043c \u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0418\u0418. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u043e\u0441\u044c \u0434\u043b\u044f METR-HRS, \u043d\u043e \u043d\u0435\u044f\u0441\u043d\u043e, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043b\u0438 \u0442\u0430\u043a\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u0438\u043b\u0438 \u0436\u0435 \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0441 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u043c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>\u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043b\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u0438 \u043f\u043e \u0443\u0433\u043b\u0443 \u043d\u0430\u043a\u043b\u043e\u043d\u0430 \u043a\u0440\u0438\u0432\u043e\u0439 \u043e\u0446\u0435\u043d\u0438\u0442\u044c: \u0447\u0435\u043c \u043e\u043d \u043a\u0440\u0443\u0447\u0435, \u0442\u0435\u043c \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/57c\/81f\/fc1\/57c81ffc1847bd52c10617620172313b.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3: \u041d\u0430 \u044d\u0442\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u2014 \u044d\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430: 3 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u0434\u043b\u044f LiveCodeBench \u0438 Video-MME, 5 \u0440\u0430\u0437\u0431\u0438\u0432\u043e\u043a \u0434\u043b\u044f GPQA Diamond \u0438 METR-HRS.\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3: \u041d\u0430 \u044d\u0442\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u2014 \u044d\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430: 3 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u0434\u043b\u044f LiveCodeBench \u0438 Video-MME, 5 \u0440\u0430\u0437\u0431\u0438\u0432\u043e\u043a \u0434\u043b\u044f GPQA Diamond \u0438 METR-HRS.\" width=\"3579\" height=\"1279\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/57c\/81f\/fc1\/57c81ffc1847bd52c10617620172313b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/57c\/81f\/fc1\/57c81ffc1847bd52c10617620172313b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3:<\/em><\/strong><em> \u041d\u0430 \u044d\u0442\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u2014 \u044d\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430: 3 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u0434\u043b\u044f <\/em><strong><em>LiveCodeBench<\/em><\/strong><em> \u0438 <\/em><strong><em>Video-MME<\/em><\/strong><em>, 5 \u0440\u0430\u0437\u0431\u0438\u0432\u043e\u043a \u0434\u043b\u044f <\/em><strong><em>GPQA Diamond<\/em><\/strong><em> \u0438 <\/em><strong><em>METR-HRS<\/em><\/strong><em>.<\/em><\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <strong>LiveCodeBench<\/strong> (\u043e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u0439), \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412 \u0434\u0440\u0443\u0433\u0438\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a <strong>Video-MME<\/strong> (\u0441\u0438\u043d\u0438\u0439), \u044d\u0442\u0430 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0441\u043b\u0430\u0431\u0435\u0435. \u041c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 LiveCodeBench \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<p>\u041d\u0430 <strong>GPQA Diamond<\/strong> (\u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u044b\u0439) \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0448\u0443\u043c \u0438\u0437-\u0437\u0430 \u043c\u0430\u043b\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0443\u0437\u043a\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u043e\u0439 \u0443 \u0441\u043b\u0430\u0431\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, GPT-4 Turbo), \u043d\u043e \u043c\u0435\u043d\u0435\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0439 \u0443 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Gemini 2.5 Pro). \u0412 \u0446\u0435\u043b\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0433\u0440\u0443\u0431\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0448\u0443\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041f\u043e\u0441\u0442\u0440\u043e\u0438\u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u043a\u043b\u043e\u043d\u0430 <em>\u03b2<sub>agent<\/sub> <\/em>\u0434\u043b\u044f \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u043d\u044b\u0445 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043a\u0440\u0438\u0432\u044b\u0445, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/799\/292\/fd8\/799292fd8c88b0a27e7fad801388c44d.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4: \u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0430 \u0447\u0435\u0440\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0448\u0430\u043d\u0441\u043e\u0432 \u0443\u0441\u043f\u0435\u0445\u0430\/\u043d\u0435\u0443\u0441\u043f\u0435\u0445\u0430 \u043f\u0440\u0438 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u043d\u0430\u043a\u043b\u043e\u043d\u0430 \u03b2 \u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u03b2 \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0443\u0441\u043f\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u042d\u0442\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0430 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043d\u0430 LiveCodeBench[11] \u0438 \u0441\u043b\u0430\u0431\u0435\u0435 \u2014 \u043d\u0430 VideoMME.\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4: \u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0430 \u0447\u0435\u0440\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0448\u0430\u043d\u0441\u043e\u0432 \u0443\u0441\u043f\u0435\u0445\u0430\/\u043d\u0435\u0443\u0441\u043f\u0435\u0445\u0430 \u043f\u0440\u0438 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u043d\u0430\u043a\u043b\u043e\u043d\u0430 \u03b2 \u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u03b2 \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0443\u0441\u043f\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u042d\u0442\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0430 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043d\u0430 LiveCodeBench[11] \u0438 \u0441\u043b\u0430\u0431\u0435\u0435 \u2014 \u043d\u0430 VideoMME.\" width=\"1410\" height=\"900\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/799\/292\/fd8\/799292fd8c88b0a27e7fad801388c44d.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/799\/292\/fd8\/799292fd8c88b0a27e7fad801388c44d.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4:<\/em><\/strong><em> \u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0430 \u0447\u0435\u0440\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0448\u0430\u043d\u0441\u043e\u0432 \u0443\u0441\u043f\u0435\u0445\u0430\/\u043d\u0435\u0443\u0441\u043f\u0435\u0445\u0430 \u043f\u0440\u0438 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u043d\u0430\u043a\u043b\u043e\u043d\u0430 \u03b2 \u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u03b2 \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0443\u0441\u043f\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u042d\u0442\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0430 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043d\u0430 <\/em><strong><em>LiveCodeBench<\/em><\/strong><a href=\"#%5B11-12%5D\" rel=\"noopener noreferrer nofollow\"><strong><em><sup>[11]<\/sup><\/em><\/strong><\/a><em> \u0438 \u0441\u043b\u0430\u0431\u0435\u0435 \u2014 \u043d\u0430 <\/em><strong><em>VideoMME<\/em><\/strong><em>.<\/em><\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438, \u043a\u0430\u043a \u044d\u0442\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 <strong>METR-HRS<\/strong>, <strong>LiveCodeBench<\/strong> \u0438 <strong>Mock AIME<\/strong> (\u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d) \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043d\u0430\u043a\u043b\u043e\u043d \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 <strong>GPQA Diamond<\/strong> \u0438 <strong>VideoMME<\/strong> \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043b\u0430\u0431\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u043e \u043c\u0435\u0440\u0435 \u043d\u0430\u0441\u044b\u0449\u0435\u043d\u0438\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430: \u043b\u0443\u0447\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0445\u0443\u0434\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0445 time horizon \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0434\u0435\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/373\/5b4\/cc6\/3735b4cc65f50c4a87e40e693890cbfc.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5: \u0423\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u043c\u0435\u0435\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0443\u044e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 METR-HRS (\u0437\u0435\u043b\u0451\u043d\u044b\u0439) \u0438 LiveCodeBench (\u043e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u0439) \u043f\u0440\u0438 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439. \u042d\u0442\u043e \u043d\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0432 GPQA Diamond (\u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u044b\u0439) \u0438\u043b\u0438 Video-MME (\u0441\u0438\u043d\u0438\u0439).\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5: \u0423\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u043c\u0435\u0435\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0443\u044e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 METR-HRS (\u0437\u0435\u043b\u0451\u043d\u044b\u0439) \u0438 LiveCodeBench (\u043e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u0439) \u043f\u0440\u0438 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439. \u042d\u0442\u043e \u043d\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0432 GPQA Diamond (\u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u044b\u0439) \u0438\u043b\u0438 Video-MME (\u0441\u0438\u043d\u0438\u0439).\" width=\"1500\" height=\"900\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/373\/5b4\/cc6\/3735b4cc65f50c4a87e40e693890cbfc.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/373\/5b4\/cc6\/3735b4cc65f50c4a87e40e693890cbfc.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5:<\/em><\/strong><em> \u0423\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u043c\u0435\u0435\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0443\u044e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 METR-HRS (\u0437\u0435\u043b\u0451\u043d\u044b\u0439) \u0438 LiveCodeBench (\u043e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u0439) \u043f\u0440\u0438 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439. \u042d\u0442\u043e \u043d\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0432 GPQA Diamond (\u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u044b\u0439) \u0438\u043b\u0438 Video-MME (\u0441\u0438\u043d\u0438\u0439).<\/em><\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u0440\u043e\u043c \u0435\u0451 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u0443\u0441\u043f\u0435\u0445 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e\u0439<\/strong> \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u2014 \u0442.\u0435. \u0443\u0441\u043f\u0435\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u044e\u0449\u0435\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447, \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u043b\u0438\u043d\u0435. \u041d\u0430 \u044d\u0442\u043e \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/www.tobyord.com\/writing\/half-life\" rel=\"noopener noreferrer nofollow\">\u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0422\u043e\u0431\u0438 \u041e\u0440\u0434<\/a>, \u043e\u0442\u043c\u0435\u0447\u0430\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e, \u0430 \u043d\u0435 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u0422\u0438\u043f \u0437\u0430\u0434\u0430\u0447\u0438<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043b\u0438 time horizon?<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Multiplicative<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u0441\u043f\u0435\u0445 = \u0443\u0441\u043f\u0435\u0445 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0430\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0451\u0442 &lt;0.25 validation loss<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0430; \u0438 \u03b2\u22481, \u0435\u0441\u043b\u0438 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447 = \u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Additive<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c = \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0430\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c 200 GPQA-\u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c &gt;70%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442; \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Knowledge check<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0448\u0430\u0433\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0441 \u043d\u043e\u043c\u0435\u0440\u043e\u043c 100?<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442; \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043d\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0425\u043e\u0442\u044f (\u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043b\u0438 \u043e\u0446\u0435\u043d\u0435\u043d\u043d\u0430\u044f) \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0447\u0430\u0441\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043c\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0438, \u0447\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u2014 \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0434\u043b\u0438\u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0444\u0440\u0438\u043b\u0430\u043d\u0441-\u0437\u0430\u0434\u0430\u0447\u0438 \u2014 \u043c\u043e\u0433\u0443\u0442 \u043f\u043b\u043e\u0445\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438. \u041c\u044b <strong>\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0435\u0440\u0435\u0433\u0430\u0435\u043c<\/strong> \u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0430\u043a\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u00ab\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438\u00bb \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u0435\u043d, \u0447\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u043e\u0433\u043e score; \u043d\u0438\u0436\u0435 \u043c\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043c \u0434\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430.<\/p>\n<h4>\u0414\u043b\u0438\u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u2014 \u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u0440 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438<\/h4>\n<p>\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043d\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0432\u0438\u0434\u0435\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d \u0432\u0438\u0434\u0435\u043e\u0440\u043e\u043b\u0438\u043a\u043e\u0432. \u0418\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u2014 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u0430\u0431\u043e\u0439 \u043a\u0430\u043a \u0434\u043b\u044f \u043b\u044e\u0434\u0435\u0439, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u0438\u043c\u0435\u044e\u0449\u0438\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u0432\u0438\u0434\u0435\u043e\u043f\u043b\u0435\u0435\u0440\u0443, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0434\u043b\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u043e \u0432\u0438\u0434\u0435\u043e. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u043b\u0438\u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u2014 \u044d\u0442\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u043d\u0430\u0434\u0451\u0436\u043d\u044b\u0439 \u043f\u0440\u043e\u043a\u0441\u0438 \u0434\u043b\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043c\u0435\u0440\u0435, \u0432 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0434\u043b\u0438\u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u0441\u043b\u0430\u0431\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0440\u044f\u0434\u0435 \u0432\u0438\u0434\u0435\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043f\u043e\u043c\u0438\u043c\u043e VideoMME. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430 <a href=\"https:\/\/lvbench.github.io\/\" rel=\"noopener noreferrer nofollow\">LVBench<\/a> \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c. \u041d\u0430 <a href=\"https:\/\/longvideobench.github.io\/\" rel=\"noopener noreferrer nofollow\">LongVideoBench<\/a> (\u0432\u0438\u0434\u0435\u043e \u043e\u0442 8 \u0441\u0435\u043a\u0443\u043d\u0434 \u0434\u043e 1 \u0447\u0430\u0441\u0430) GPT-4o \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 10% \u043c\u0435\u0436\u0434\u0443 \u0441\u0430\u043c\u043e\u0439 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0439 \u0438 \u0441\u0430\u043c\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u043e\u0439. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0430\u0433\u0435\u043d\u0442\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0442 <strong>\u043c\u0435\u043d\u044c\u0448\u0435<\/strong> \u043d\u0430 \u0432\u0438\u0434\u0435\u043e 8\u201315 \u0441\u0435\u043a\u0443\u043d\u0434, \u0447\u0435\u043c \u043d\u0430 \u0432\u0438\u0434\u0435\u043e 15\u201360 \u0441\u0435\u043a\u0443\u043d\u0434.<\/p>\n<p>\u041c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u0441\u043b\u0430\u0431\u0430\u044f \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432 \u043d\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0432\u0438\u0434\u0435\u043e. \u0417\u0430\u0434\u0430\u0447\u0438 \u0432\u0438\u0434\u0435\u043e-QA \u0447\u0430\u0441\u0442\u043e \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0442\u043e\u0447\u043a\u0430\u043c \u0432 \u0440\u043e\u043b\u0438\u043a\u0435<a href=\"#%5B11-12%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[12]<\/sup><\/strong><\/a>, \u043d\u043e \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u0434\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b, \u0432\u0438\u0434\u0435\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u043c\u0443\u043b\u044c\u0442\u0438\u043f\u043b\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0438\u0434\u0435\u043e, \u043c\u044b \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u2014 CG-Bench, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u043a\u0430\u043a \u0438 VideoMME, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0438 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438 (clue length) \u2014 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0439 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0445 \u043e\u0442\u0440\u0435\u0437\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438. \u0422\u0430\u043a \u043a\u0430\u043a <a href=\"https:\/\/cg-bench.github.io\/leaderboard\/\" rel=\"noopener noreferrer nofollow\">CG-Bench<\/a> \u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u043f\u043e \u0434\u043b\u0438\u043d\u0435, \u043c\u044b \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 GPT-4o-mini-2024-07-18 \u043d\u0430 3000 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <a href=\"https:\/\/github.com\/CG-Bench\/CG-Bench\" rel=\"noopener noreferrer nofollow\">\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f<\/a>. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 score \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 48.7% (\u043f\u0440\u043e\u0442\u0438\u0432 48.4% \u043d\u0430 leaderboard). \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b GPT-4o-mini \u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u043e\u0439 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u043b\u0438\u0431\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u043b\u0438\u0431\u043e \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u0430\u0431\u0443\u044e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0434\u043b\u0438\u043d\u043e\u0439 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e (\u0442\u043e\u0447\u0435\u0447\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430: \u20130.0087 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0435 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d\u044b \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438; 95% \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043f\u043e \u043d\u0430\u043a\u043b\u043e\u043d\u0443: (\u20130.020642, 0.003241)). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043c\u0435\u0440\u0435, \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e, \u043d\u043e \u043d\u0430\u043c \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0430\u0439\u0442\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e human baseline.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/90b\/d43\/548\/90bd435483db768704be8b450743675f.png\" width=\"1189\" height=\"985\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/90b\/d43\/548\/90bd435483db768704be8b450743675f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/90b\/d43\/548\/90bd435483db768704be8b450743675f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h4>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 SWE-Lancer \u2014 \u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u0440 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438<\/h4>\n<p>\u041d\u0430 \u0444\u0440\u0438\u043b\u0430\u043d\u0441-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u043f\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e <a href=\"https:\/\/openai.com\/index\/swe-lancer\/\" rel=\"noopener noreferrer nofollow\">SWE-Lancer<\/a> (Miserendino \u0438 \u0434\u0440., 2025), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u0441\u0444\u0435\u0440\u0435 \u0444\u0440\u0438\u043b\u0430\u043d\u0441-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u041f\u041e, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 o1 \u043d\u0435 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0439 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438 \u0441\u043e \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0434\u0430\u0447\u0438. \u042d\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u044b\u043c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0430\u0432\u044b\u043a\u0438, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0432 SWE-Lancer, \u043a\u0430\u0436\u0443\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u043a \u0442\u0435\u043c, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a HCAST \u0438 SWE-Bench Verified. \u041a\u0430\u043a\u043e\u0432\u0430 \u0431\u044b \u043d\u0438 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u0447\u0438\u043d\u0430, \u0440\u0430\u0441\u0447\u0451\u0442 \u00ab\u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430 \u043f\u043e \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438\u00bb (task value horizon) \u0434\u043b\u044f AI-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043d\u0430 SWE-Lancer, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043e\u0441\u043e\u0431\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u0430\u043a \u00ab\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u00bb (earn rate), \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043e\u043e\u0431\u0449\u0430\u044e\u0442 Miserendino \u0438 \u0441\u043e\u0430\u0432\u0442\u043e\u0440\u044b, \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8fc\/042\/e0d\/8fc042e0d5b24e85d636cafda055e24a.png\" width=\"1600\" height=\"1172\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/8fc\/042\/e0d\/8fc042e0d5b24e85d636cafda055e24a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8fc\/042\/e0d\/8fc042e0d5b24e85d636cafda055e24a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<hr\/>\n<p><a class=\"anchor\" name=\"%5B11-12%5D\" id=\"[11-12]\"><\/a><\/p>\n<p><strong><sup>[11]<\/sup><\/strong><sup> \u0412 LiveCodeBench \u043e\u0446\u0435\u043d\u043a\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0435: \u043b\u0451\u0433\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 LeetCode \u0434\u043e\u043b\u0436\u043d\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u043e\u043a\u043e\u043b\u043e 8 \u043c\u0438\u043d\u0443\u0442, \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u2014 20 \u043c\u0438\u043d\u0443\u0442, \u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u2014 40 \u043c\u0438\u043d\u0443\u0442. \u041c\u044b \u043d\u0435 \u0438\u0441\u043f\u044b\u0442\u044b\u0432\u0430\u0435\u043c \u043e\u0441\u043e\u0431\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u044d\u0442\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435, \u043e\u0434\u043d\u0430\u043a\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0439 \u043d\u0430\u043a\u043b\u043e\u043d (slope) \u043d\u0430 LiveCodeBench \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0440\u0443\u0447\u0435, \u0447\u0435\u043c \u043d\u0430 METR-HRS. \u0415\u0441\u043b\u0438 \u0431\u044b \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u043d\u0430\u043a\u043b\u043e\u043d METR-HRS \u0438 LiveCodeBench \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b, \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 LiveCodeBench \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u0431\u044b \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 40 \u0440\u0430\u0437 \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u043b\u0451\u0433\u043a\u0438\u0445, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u043b\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u043c.<\/sup><\/p>\n<p><strong><sup>[12]<\/sup><\/strong><sup> \u0421\u043c. \u0440\u0430\u0437\u0434\u0435\u043b \u00abBenchmark\u00bb \u043d\u0430 <\/sup><a href=\"https:\/\/video-mme.github.io\/home_page.html\" rel=\"noopener noreferrer nofollow\"><sup>\u0441\u0430\u0439\u0442\u0435 Video-MME<\/sup><\/a><sup> \u0438\u043b\u0438 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u044c\u0442\u0435\u0441\u044c \u0441 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0451\u0439 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0437\u0430\u0434\u0430\u043d\u0438\u0439.<\/sup><\/p>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u0438<\/h3>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/49e\/3b1\/90a\/49e3b190a06476f76733fdc6f36de8bb.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6: \u0427\u0435\u0442\u044b\u0440\u0435 \u043f\u0430\u0440\u044b \u0441\u0445\u043e\u0436\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u0438\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u043e\u0433\u043e. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f METR-HRS \u0434\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f time horizon, \u043e\u0447\u0435\u043d\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c; \u0434\u043b\u044f \u0442\u0440\u0451\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f.\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6: \u0427\u0435\u0442\u044b\u0440\u0435 \u043f\u0430\u0440\u044b \u0441\u0445\u043e\u0436\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u0438\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u043e\u0433\u043e. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f METR-HRS \u0434\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f time horizon, \u043e\u0447\u0435\u043d\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c; \u0434\u043b\u044f \u0442\u0440\u0451\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f.\" width=\"1680\" height=\"1522\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/49e\/3b1\/90a\/49e3b190a06476f76733fdc6f36de8bb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/49e\/3b1\/90a\/49e3b190a06476f76733fdc6f36de8bb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6:<\/em><\/strong><em> \u0427\u0435\u0442\u044b\u0440\u0435 \u043f\u0430\u0440\u044b \u0441\u0445\u043e\u0436\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u0438\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u043e\u0433\u043e. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f METR-HRS \u0434\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f time horizon, \u043e\u0447\u0435\u043d\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c; \u0434\u043b\u044f \u0442\u0440\u0451\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u0430<\/em>\u0435\u0442\u0441\u044f.<\/figcaption><\/div>\n<\/figure>\n<p>\u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0448\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438, \u0433\u0434\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c, \u0441 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c\u0438, \u0433\u0434\u0435 \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0414\u043b\u044f AIME \u0438 GPQA \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 Epoch AI (\u0441 \u0434\u043e\u043b\u0435\u0439 \u0443\u0441\u043f\u0435\u0445\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b (\u043c\u043e\u0434\u0435\u043b\u044c, \u0437\u0430\u0434\u0430\u0447\u0430)) \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 (\u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0449\u0438\u0439 score \u043c\u043e\u0434\u0435\u043b\u0438); \u0434\u043b\u044f METR-HRS \u0438 LiveCodeBench \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 time horizon \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 METR-HRS \u0438\u043b\u0438 MLE-\u043c\u0435\u0442\u043e\u0434\u0430 LiveCodeBench. \u0412 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u03b2 = 0.6, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u03b2 \u0434\u0440\u0443\u0433\u0438\u0435.<\/p>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f AIME (\u0441\u0432\u0435\u0442\u043b\u043e-\u0433\u043e\u043b\u0443\u0431\u043e\u0439 \u0446\u0432\u0435\u0442) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0440\u043e\u0441\u0442 time horizon, \u0447\u0435\u043c Mock AIME \u043e\u0442 Epoch AI, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0438\u0437-\u0437\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u043d\u0430\u0447\u0430\u043b\u0430 2024 \u0433\u043e\u0434\u0430. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f GPQA \u0442\u0430\u043a\u0436\u0435 \u0434\u0430\u0451\u0442 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u0442\u043e\u0439 \u043d\u0430\u043a\u043b\u043e\u043d, \u0447\u0435\u043c GPQA Diamond, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u03b2 \u043d\u0438\u0436\u0435 \u0443 \u0432\u044b\u0441\u043e\u043a\u043e\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 GPQA Diamond, \u0430 \u043c\u0435\u0442\u043e\u0434 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u044d\u0442\u043e \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 LiveCodeBench \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u0435: LiveCodeBench (\u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u0442\u043e\u0439 \u043d\u0430\u043a\u043b\u043e\u043d, \u0447\u0435\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 LiveCodeBench, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u03b2 \u0434\u043b\u044f LiveCodeBench \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0448\u0435 0.6. \u041c\u0435\u0442\u043e\u0434 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0441\u043a\u043e\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 o4 mini \u043d\u0430 LiveCodeBench \u043a\u0430\u043a \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 time horizon, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043d\u0438 \u043b\u0438\u0448\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435.<\/p>\n<h3>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0449\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b<\/h3>\n<p><strong>\u0414\u0440\u0443\u0433\u0438\u0435 \u0434\u043e\u043c\u0435\u043d\u044b:<\/strong> \u042d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b, \u0447\u0435\u043c \u043e\u0445\u0432\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0432 \u044d\u0442\u043e\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0432\u0435 \u0441\u0430\u043c\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u043b\u0430\u0447\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 \u0432 \u0421\u0428\u0410 \u2014 <a href=\"https:\/\/www.careeronestop.org\/Toolkit\/Careers\/careers-largest-employment.aspx\" rel=\"noopener noreferrer nofollow\">\u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 \u0441\u0435\u0441\u0442\u0440\u0438\u043d\u0441\u043a\u043e\u0435 \u0434\u0435\u043b\u043e<\/a>, \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u044d\u0442\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445.<\/p>\n<p>\u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0443 \u043d\u0430\u0441 \u043a\u0440\u0430\u0439\u043d\u0435 \u043c\u0430\u043b\u043e \u0434\u043e\u043c\u0435\u043d\u043e\u0432 \u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u043c\u0438 time horizon (\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u043b\u044c\u043a\u043e OSWorld), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c, \u0431\u0443\u0434\u0443\u0442 \u043b\u0438 \u0442\u0430\u043a\u0438\u0435 \u0434\u043e\u043c\u0435\u043d\u044b \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u00ab\u0434\u043e\u0433\u043e\u043d\u044f\u044e\u0449\u0438\u0439 \u0440\u043e\u0441\u0442\u00bb \u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u043d\u0443\u0442\u0441\u044f \u0432 \u0441\u0442\u0430\u0433\u043d\u0430\u0446\u0438\u0438. \u041f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044e R&amp;D \u0432 AI \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0438 \u0432 \u0446\u0435\u043b\u043e\u043c, \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0434\u0430\u0442\u0430 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0443\u0442, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 \u0432 \u0442\u0435\u0445 \u043d\u0430\u0432\u044b\u043a\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0441\u0430\u043c\u044b\u0445 \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u0434\u043b\u044f AI \u043d\u0430\u0432\u044b\u043a\u043e\u0432 \u0438 \u043e\u0446\u0435\u043d\u043a\u0430 \u0442\u0435\u043c\u043f\u043e\u0432 \u0438\u0445 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u0430\u0436\u043d\u044b.<\/p>\n<p><strong>\u0412\u0441\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b:<\/strong> \u041c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u043b\u044e\u0431\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c \u0434\u043e\u043c\u0435\u043d\u0435: \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u0435\u0448\u0435\u0432\u044b \u0432 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0438 \u043e\u0446\u0435\u043d\u043a\u0435, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043b\u0435\u0433\u0447\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e RL. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043d\u0435 \u0438\u0441\u043a\u0430\u0436\u0435\u043d, \u043e\u043d \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0431\u043e\u043b\u0435\u0435 \u043b\u0435\u0433\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 (\u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442\u0430), \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u043b\u0438\u043a \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u0435\u0436\u0434\u0443 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c\u0438 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u2014 \u0438 \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u043b\u0438 \u043e\u043d \u0432 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u043c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0435 \u0438\u043b\u0438 \u0432 \u0440\u0430\u0437\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430. \u0422\u0430\u043a\u0436\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u0442\u0435\u0445 \u0434\u043e\u043c\u0435\u043d\u043e\u0432, \u0433\u0434\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 \u0432 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043c\u0435\u0441\u044f\u0446\u044b \u043f\u043e\u0441\u043b\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u2014 \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439.<\/p>\n<p><strong>\u041d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:<\/strong> \u041c\u043d\u043e\u0433\u0438\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 human baseline, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438; \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0442\u0440\u0435\u043d\u0434 time horizon \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447. \u0422\u0430\u043a\u0436\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0431\u0435\u0437 \u0440\u0430\u0437\u0431\u0438\u0432\u043e\u043a (splits), \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0442\u0435\u0445, \u0433\u0434\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0437\u0430\u0434\u0430\u0447, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u03b2. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f OSWorld, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432 \u0441\u0432\u043e\u0435\u043c \u0434\u043e\u043c\u0435\u043d\u0435. \u0427\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u044b \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 LiveCodeBench \u0441\u0430\u043c\u0430\u044f \u0440\u0430\u043d\u043d\u044f\u044f \u0442\u043e\u0447\u043a\u0430 \u2014 Claude 3 Haiku; \u043d\u043e Claude 3 Opus, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0431\u044b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/p>\n<p><strong>Elicitation \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u044b\u0432\u043e\u0434\u0430:<\/strong> \u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 METR-HRS \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043d\u0430 inference, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u043b\u0430 \u043f\u043b\u0430\u0442\u043e. \u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f Epoch AI \u0434\u043b\u044f GPQA Diamond, MATH L5, AIME \u0438 SWE-bench Verified \u0431\u044b\u043b\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u043d\u043e\u0433\u0438\u0435 \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u044b \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 scaffolds, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c, \u0447\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e.<\/p>\n<p><strong>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0435 \u043e\u0442 time horizon:<\/strong> \u0412 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u0433\u0434\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0434\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c\u044b\u0435 \u043b\u044e\u0434\u044c\u043c\u0438, \u043d\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0442\u0440\u0443\u0434\u043d\u0435\u0435 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, time horizon \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0431\u043e\u043b\u0435\u0435 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c: \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447, \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438. \u0418\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0443\u0447\u0451\u0442\u0430 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 inference.<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438, \u043a\u0430\u043a time horizon \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f 4\u20137 \u043c\u0435\u0441\u044f\u0446\u0435\u0432, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0435 Kwa \u0438 West \u0438 \u0434\u0440. (2025) \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e, \u0441\u043e\u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u043c\u0438. \u041c\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 time horizon \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u0443 \u0436\u0435 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u044f \u0435\u0451 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (MLE) \u0442\u0430\u043c, \u0433\u0434\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b (1) \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0438 (2) \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0443\u0440\u043e\u0432\u043d\u044f\u043c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u0414\u0430\u0436\u0435 \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u03b2 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0448\u0443\u043c\u043d\u0443\u044e, \u043d\u043e \u0432\u0441\u0451 \u0436\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 time horizon.<\/p>\n<p>\u041c\u044b \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0438\u043b\u0438 \u0441\u0432\u0435\u0440\u0445\u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0440\u0435\u043d\u0434\u044b \u0440\u043e\u0441\u0442\u0430 \u0432\u043e \u0432\u0441\u0435\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u0445\u043e\u0442\u044f \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u043a\u0430\u043a \u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 time horizon, \u0442\u0430\u043a \u0438 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044f\u0445 \u0440\u043e\u0441\u0442\u0430 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u0435\u043d. \u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043f\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e, \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u0438 QA \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u044b 30\u2013200+ \u043c\u0438\u043d\u0443\u0442, \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0435 ~2\u20136 \u043c\u0435\u0441\u044f\u0446\u0435\u0432, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c METR-HRS \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435. \u0410\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 GUI (OSWorld) \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 100 \u0440\u0430\u0437 \u043a\u043e\u0440\u043e\u0447\u0435, \u0447\u0435\u043c \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043b\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430; \u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442 Tesla \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441, \u0447\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u0435 \u0434\u043e\u043c\u0435\u043d\u044b.<\/p>\n<p>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0430\u0448\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u0448\u0443\u043c\u043d\u044b\u043c\u0438. \u041d\u043e \u0447\u0442\u043e \u0435\u0449\u0435 \u0432\u0430\u0436\u043d\u0435\u0435 \u2014 \u0432\u0441\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0434\u043e\u043c\u0435\u043d\u043e\u0432, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u0418\u0418 \u0443\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0411\u0443\u0434\u0443\u0449\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u043c\u0438 time horizon, \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0442\u044c \u043f\u0440\u044f\u043c\u044b\u0435 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u043e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0443\u0437\u043a\u0438\u0445 \u043c\u0435\u0441\u0442\u0430\u0445, \u043c\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u043f\u0430\u0441\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 R&amp;D \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 AI.<\/p>\n<h2>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435<\/h2>\n<h3>\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d \u0441\u043f\u0438\u0441\u043e\u043a \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:<\/p>\n<ol>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043e\u0431 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0437\u0430\u0434\u0430\u0447 \u0434\u043b\u044f OSWorld, WebArena, MATH \u0438 RLBench, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u0438\u043b\u0443 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u043e\u0441\u0442\u0430 time horizon.<\/p>\n<\/li>\n<li>\n<p>\u0410\u043d\u0430\u043b\u0438\u0437 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c item response theory (IRT) \u0434\u043b\u044f GPQA Diamond, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u043b\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 time horizon \u0438 \u043d\u0438\u0437\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u03b2 \u0443 o3-mini \u0441 \u0448\u0443\u043c\u043e\u043c \u0432 \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u044f\u0445 \u0438\u043b\u0438 \u0441 \u0447\u0435\u043c-\u0442\u043e \u0434\u0440\u0443\u0433\u0438\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0411\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u044b \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c:<\/p>\n<ol>\n<li>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0433\u043e\u043b\u043e\u0432\u043e\u043b\u043e\u043c\u043a\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a ZeroBench, VisualPuzzles \u0438 ARC-AGI. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u043d\u0438\u0445 \u0431\u044b\u043b\u0438 \u0441\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a adversarial-\u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043b\u044f AI, \u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043f\u043e \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439: MNIST, ImageNet. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0431\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0442\u0440\u0435\u043d\u0434 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043e\u043f\u0430\u0441\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a CVE-Bench \u0438 ProtocolQA.<\/p>\n<\/li>\n<li>\n<p>FrontierMath, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u00ab\u043f\u043e\u0442\u043e\u043b\u043e\u043a\u00bb \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 QA-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<p><a class=\"anchor\" name=\"podrobnosti-po-otdelnym-benchmarkam\" id=\"podrobnosti-po-otdelnym-benchmarkam\"><\/a><\/p>\n<h3>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c<\/h3>\n<ul>\n<li>\n<p><strong>METR-HRS (HCAST\/RE-Bench\/SWAA)<\/strong><\/p>\n<ul>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043b\u044e\u0434\u044f\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0447\u0435\u0440\u0435\u0437 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u044b \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0437\u0430\u0434\u0430\u0447; \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043b\u044f 24 \u0438\u0437 170 \u0437\u0430\u0434\u0430\u0447 \u0431\u044b\u043b\u043e \u043e\u0446\u0435\u043d\u0435\u043d\u044b \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0439 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c. \u0414\u0430\u043d\u043d\u044b\u0435 \u043e success rate \u043b\u044e\u0434\u0435\u0439 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u043d\u043e\u0433\u0438\u0435 \u043d\u0435\u0443\u0434\u0430\u0447\u0438 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u0432 \u0431\u044b\u043b\u0438 \u0432\u044b\u0437\u0432\u0430\u043d\u044b \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c\u0438, \u043d\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. <a href=\"https:\/\/arxiv.org\/abs\/2503.14499\" rel=\"noopener noreferrer nofollow\">\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/a>).<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 8 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 scaffold \u043e\u0442 METR.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>SWE-bench Verified<\/strong><\/p>\n<ul>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043b\u044e\u0434\u044f\u043c \u2014 \u044d\u0442\u043e \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, <a href=\"https:\/\/openai.com\/index\/introducing-swe-bench-verified\/\" rel=\"noopener noreferrer nofollow\">\u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 OpenAI<\/a>, \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0443, \u0437\u043d\u0430\u043a\u043e\u043c\u043e\u043c\u0443 \u0441 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u0431\u0430\u0437\u043e\u0439, \u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u043e\u0442 Epoch AI. \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 OpenAI o1 \u0438 o3 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u044b.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>OSWorld<\/strong><\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u2014 \u044d\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0434\u0435\u043c\u043e \u0438\u0437 \u0440\u0438\u0441\u0443\u043d\u043a\u0430 4 \u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u044b 6 <a href=\"https:\/\/arxiv.org\/abs\/2404.07972\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0438 OSWorld<\/a>. \u041c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 1 \/ 0.7236 \u0434\u043b\u044f \u0443\u0447\u0451\u0442\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 72.36% \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u0439 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u0438\u0437 <a href=\"https:\/\/os-world.github.io\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u0433\u043e \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0430<\/a>.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>WebArena<\/strong><\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0431 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u044b \u0438\u0437 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e <a href=\"https:\/\/docs.google.com\/spreadsheets\/d\/1M801lEpBbKSNwP-vDBkC_pF7LdyGU1f_ufZb_NWNBZQ\/edit?gid=0#gid=0\" rel=\"noopener noreferrer nofollow\">\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0430<\/a> \u0438 <a href=\"https:\/\/github.com\/web-arena-x\/webarena\/\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f<\/a>; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u0437 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 trace-\u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>Mock AIME<\/strong><\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0432 15-\u0432\u043e\u043f\u0440\u043e\u0441\u043d\u043e\u043c \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e 180 \u043c\u0438\u043d\u0443\u0442. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043b\u0438, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0435, \u0430 \u0441\u0430\u043c\u0430\u044f \u0434\u043b\u0438\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 5 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0447\u0435\u043c \u0441\u0430\u043c\u0430\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u0430\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0441 \u0443\u0447\u0451\u0442\u043e\u043c success rate, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 IRT \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0441 \u0431\u0430\u043b\u043b\u043e\u043c \u043e\u043a\u043e\u043b\u043e 10 (\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u043e\u043f-250 \u0432 \u0421\u0428\u0410), \u0441 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u043c \u043e\u0442 0.98 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0434\u043e 0.10 \u0434\u043b\u044f \u043f\u044f\u0442\u043d\u0430\u0434\u0446\u0430\u0442\u043e\u0433\u043e. \u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u0442\u043e\u043f-\u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c\u0438 AIME \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0431\u0443\u0434\u0443\u0442 \u043c\u0435\u043d\u044c\u0448\u0435, \u043d\u043e \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u043b\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0441 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430\u043c\u0438 METR-HRS, MATH \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u043e\u0442 Epoch AI.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0434\u0440\u0443\u0433\u0438\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c AIME \u0438\u0437 <a href=\"https:\/\/www.vellum.ai\/llm-leaderboard\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/a> \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>MATH<\/strong><\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u044f (Thomas Kwa) \u0441\u043e\u0437\u0434\u0430\u043b \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0438 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0448\u0438\u043b \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 train-\u043d\u0430\u0431\u043e\u0440\u0430, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0431\u0440\u0430\u043b \u043f\u043e 4 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 5 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0434\u0430\u0432 24 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438\u0437 28. \u042f \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440 \u0438\u043b\u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b (\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434 \u043f\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435). \u041c\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c bucket \u043a\u0430\u043a \u043b\u043e\u0433\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u043e\u0435\u0439 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0432 \u044d\u0442\u043e\u043c bucket.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u0441 <a href=\"https:\/\/huggingface.co\/datasets\/nlile\/math_benchmark_test_saturation\" rel=\"noopener noreferrer nofollow\">\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0430 HuggingFace<\/a>. \u0411\u044b\u043b\u0438 \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u044b \u0430\u0433\u0435\u043d\u0442\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0435 \u043a\u043e\u0434 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>LiveCodeBench<\/strong><\/p>\n<ul>\n<li>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a LiveCodeBench \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0438\u0437 \u0437\u0430\u0434\u0430\u0447 LeetCode \u0438 AtCoder, \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0441\u0432\u043e\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u043f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 LeetCode \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u043a \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u043c: m = (8, 20, 40) \u043c\u0438\u043d\u0443\u0442 \u0434\u043b\u044f (easy, medium, hard) \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u041c\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u043c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c bucket \u043a\u0430\u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0435 \u043e\u0442 m\/2 \u0434\u043e 2m.<\/p>\n<ul>\n<li>\n<p>\u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0442\u043e\u0447\u043d\u043e, \u0435\u0441\u043b\u0438 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 LiveCodeBench \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0430 \u0434\u043e\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441 Codeforces, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>GPQA Diamond<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u0446\u0435\u043d\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 \u0434\u0432\u0443\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0445 \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0439, \u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a GPQA.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u043e\u0442 Epoch AI.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>Video-MME<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u2014 \u0434\u043b\u0438\u043d\u0430 \u0432\u0438\u0434\u0435\u043e. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0441 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0432\u0438\u0434\u0435\u043e\u043f\u043b\u0435\u0435\u0440\u043e\u043c, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u0438\u0434\u0435\u043e<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u0441 \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0430 Video-MME, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u0435\u0437 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0443\u0431\u0442\u0438\u0442\u0440\u043e\u0432 (no-captions) \u043f\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0435 \u043d\u0430 easy \/ medium \/ hard. \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u043b\u0438\u0441\u044c \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 Gemini 1.5.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>Tesla FSD<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u0446\u0435\u043d\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 30 \u043c\u0438\u043b\u044c\/\u0447 \u0432 \u0433\u043e\u0440\u043e\u0434\u0435 \u0438 60 \u043c\u0438\u043b\u044c\/\u0447 \u043d\u0430 \u0448\u043e\u0441\u0441\u0435. \u041c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u043f\u043e\u0435\u0437\u0434\u043a\u0430 \u0431\u0435\u0437 \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0447\u0430\u0441\u0430 \u0440\u0430\u0432\u043d\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u043c\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u0438\u043d\u043e\u0439 \u0432 \u0447\u0430\u0441.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u043c\u0438 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c <a href=\"https:\/\/teslafsdtracker.com\/\" rel=\"noopener noreferrer nofollow\">Tesla FSD Tracker<\/a> \u2014 \u0441\u0430\u0439\u0442\u0430, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0435\u0433\u043e \u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u0434\u0432\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u0442\u0440\u0435\u043a\u0435\u0440\u0430. \u041c\u044b \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0432\u0435\u0440\u0441\u0438\u0438 \u0441 \u043c\u0430\u043b\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043c\u0438\u043b\u044c \u043f\u043e \u0433\u043e\u0440\u043e\u0434\u0443 \u0438\u043b\u0438 \u0448\u043e\u0441\u0441\u0435, \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u043a \u0440\u0430\u0432\u043d\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0433\u043e\u0440\u043e\u0434\u0441\u043a\u0438\u0445 \u0438 \u0448\u043e\u0441\u0441\u0435\u0439\u043d\u044b\u0445 \u043c\u0438\u043b\u044c \u0438 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430 ln(2), \u0442\u0430\u043a \u043a\u0430\u043a \u0430\u0433\u0435\u043d\u0442 \u0441 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442\u043a\u0430\u0437\u0430 \u0438 MTBF = k \u043c\u0438\u043d\u0443\u0442 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c 50% \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0431\u043e\u044f \u043d\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0435 k * ln(2). \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432 \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0435\u0441\u0442\u044c \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043b\u044e\u0434\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 FSD \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u0433\u0434\u0435 \u043e\u043d \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e Waymo, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043e\u043f\u0435\u0440\u0435\u0436\u0430\u0435\u0442 Tesla \u0432 \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u043c \u0432\u043e\u0436\u0434\u0435\u043d\u0438\u0438<a href=\"#%5B13%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[13]<\/sup><\/strong><\/a>.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>RLBench<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u0446\u0435\u043d\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u044b\u043c\u0438 \u0434\u043b\u0438\u043d\u0435 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0439, \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u0445 \u0432 18 \u0437\u0430\u0434\u0430\u0447 RLBench, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0430\u0433\u0435\u043d\u0442\u0430\u043c \u2014 \u0438\u0437<a href=\"https:\/\/paperswithcode.com\/sota\/robot-manipulation-on-rlbench\" rel=\"noopener noreferrer nofollow\"> \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u0433\u043e \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0430.<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<h4>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447<\/h4>\n<p>\u0421\u043c. \u044d\u0442\u043e\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u043e \u0442\u0435\u043c\u0435: <a href=\"https:\/\/docs.google.com\/document\/d\/1XcF0K1ek2gzeeonNMjL6GAVN1BeV03eu2IxA03S4vZ0\/edit?tab=t.0#heading=h.9rurgdyksb0i\" rel=\"noopener noreferrer nofollow\">[ext] Getting task duration from baseliner time distribution.<\/a><\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%5B13%5D\" id=\"[13]\"><\/a><\/p>\n<p><strong><sup>[13]<\/sup><\/strong><sup> \u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, Waymo <\/sup><a href=\"https:\/\/www.lesswrong.com\/posts\/Zr37dY5YPRT6s56jY\/thomas-kwa-s-shortform?commentId=DS5pshLdBBB5oACQd\" rel=\"noopener noreferrer nofollow\"><sup>\u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043d\u0430\u043c \u0434\u0430\u043d\u043d\u044b\u0435<\/sup><\/a><strong><sup>. <\/sup><\/strong><sup>\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u0437\u0430\u044f\u0432\u043b\u044f\u043b\u0430 \u043e \u0442\u044b\u0441\u044f\u0447\u0430\u0445 \u043c\u0438\u043b\u044c \u043f\u0440\u043e\u0431\u0435\u0433\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u043c\u0438 (interventions) \u0435\u0449\u0451 \u0441 2017 \u0433\u043e\u0434\u0430 \u2014 \u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u0435 \u0432\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u043b\u043e \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u0443\u044e \u0432\u044b\u0440\u0443\u0447\u043a\u0443. \u041e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u043e\u0434\u0434\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438.<\/sup><\/p>\n<h3>\u0414\u0440\u0443\u0433\u0438\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438<\/h3>\n<h4>\u041d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/h4>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/288\/da6\/954\/288da695462198e6ba90f0f359e623f3.png\" alt=\"\u00a0\u0420\u0438\u0441\u0443\u043d\u043e\u043a 7: \u041f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (scores) \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u0432 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0435.\" title=\"\u00a0\u0420\u0438\u0441\u0443\u043d\u043e\u043a 7: \u041f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (scores) \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u0432 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0435.\" width=\"1800\" height=\"1200\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/288\/da6\/954\/288da695462198e6ba90f0f359e623f3.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/288\/da6\/954\/288da695462198e6ba90f0f359e623f3.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><em>\u00a0<\/em><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 7:<\/em><\/strong><em> \u041f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (scores) \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u0432 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0435.<\/em><\/figcaption><\/div>\n<\/figure>\n<p>\u0411\u0435\u0437 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 time horizon \u0442\u0440\u0443\u0434\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445, \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043d\u043e \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0435 scores \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445, \u043a\u0430\u043a Video-MME \u0438 GPQA Diamond, \u0433\u0434\u0435 time horizon \u043b\u0438\u0431\u043e \u043d\u0435\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043b\u0438\u0431\u043e \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/936522\/\"> https:\/\/habr.com\/ru\/articles\/936522\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption><em>\u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 <\/em><a href=\"https:\/\/docs.scipy.org\/doc\/scipy\/reference\/generated\/scipy.interpolate.make_splrep.html#scipy.interpolate.make_splrep\" rel=\"noopener noreferrer nofollow\"><em>\u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u043c \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u043c<\/em><\/a><em> \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 s=0.2, k=1. \u0414\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e \u043e\u0441\u0438 Y \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 (\u043e\u0442 2-\u0433\u043e \u0434\u043e 98-\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u044f).<\/em><\/figcaption><\/div>\n<\/figure>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438<\/h2>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/metr.org\/blog\/2025-03-19-measuring-ai-ability-to-complete-long-tasks\/\" rel=\"noopener noreferrer nofollow\">Measuring AI Ability to Complete Long Software Tasks<\/a> (Kwa &amp; West \u0438 \u0434\u0440., 2025) \u043a\u043e\u043c\u0430\u043d\u0434\u0430 METR \u0432\u0432\u0435\u043b\u0430 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 50% <strong>time horizon<\/strong> \u043c\u043e\u0434\u0435\u043b\u0438: \u044d\u0442\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 (\u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0435\u0442\u0435 \u043d\u0430 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c), \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e 50%. \u041c\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 time horizon \u0443 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0445 \u0441 2019 \u0433\u043e\u0434\u0430, \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0435\u043c \u0442\u0440\u0438 \u043d\u0430\u0431\u043e\u0440\u0430 \u0437\u0430\u0434\u0430\u0447 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u0441 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442 1 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0434\u043e 16 \u0447\u0430\u0441\u043e\u0432 \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 (<strong>HCAST<\/strong>, <strong>RE-Bench<\/strong> \u0438 <strong>SWAA<\/strong>; \u0434\u0430\u043b\u0435\u0435 \u2014 <strong>METR-HRS<\/strong>). METR \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0430, \u0447\u0442\u043e time horizon <strong>\u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/strong> \u043a\u0430\u0436\u0434\u044b\u0435 7 \u043c\u0435\u0441\u044f\u0446\u0435\u0432, \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u0434\u043e 4 \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u0432 2024 \u0433\u043e\u0434\u0443.<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0431\u044b\u043b <strong>\u0434\u043e\u043c\u0435\u043d<\/strong> \u0437\u0430\u0434\u0430\u0447: \u0432\u0441\u0435 \u043e\u043d\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u043b\u0438\u0441\u044c \u043a \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0439 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 \u0438\u043b\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0434\u0435\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 AI \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0438\u043f\u0430\u043c\u0438 \u0437\u0430\u0434\u0430\u0447<a href=\"#%5B1%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[1]<\/sup><\/strong><\/a>. \u0412 \u044d\u0442\u043e\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f  \u043b\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u0442\u0440\u0435\u043d\u0434\u044b \u043a \u0434\u0440\u0443\u0433\u0438\u043c \u0442\u0438\u043f\u0430\u043c \u0437\u0430\u0434\u0430\u0447, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u0435 \u0432\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0430, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044e, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0443\u044e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c time horizon \u043d\u0430 \u043c\u0435\u043d\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0414\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043c\u0435\u043d\u0435\u0435 \u043d\u0430\u0434\u0435\u0436\u043d\u044b \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u043e\u0439, \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0443 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0442\u0440\u0430\u043a\u0442\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0448\u0443\u043c\u043d\u044b\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u043e\u043d\u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u0445\u043e\u0436\u0443\u044e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0443.<\/p>\n<p>\u0414\u043e\u043c\u0435\u043d \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0438 reasoning-\u0437\u0430\u0434\u0430\u0447 \u2014 \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u043d\u0430\u0443\u0447\u043d\u044b\u0435 QA (<a href=\"https:\/\/github.com\/idavidrein\/gpqa\" rel=\"noopener noreferrer nofollow\">GPQA<\/a>), \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f (<a href=\"https:\/\/github.com\/hendrycks\/math\" rel=\"noopener noreferrer nofollow\">MATH<\/a>, <a href=\"https:\/\/huggingface.co\/datasets\/EpochAI\/otis-mock-aime-24-25\" rel=\"noopener noreferrer nofollow\">Mock AIME<\/a>), \u043f\u043e\u043b\u0443\u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e (<a href=\"https:\/\/metr.org\/blog\/2025-03-19-measuring-ai-ability-to-complete-long-tasks\/\" rel=\"noopener noreferrer nofollow\">METR-HRS<\/a>) \u0438 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (<a href=\"https:\/\/livecodebench.github.io\/leaderboard.html\" rel=\"noopener noreferrer nofollow\">LiveCodeBench<\/a>) \u2014 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 time horizon \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 50\u2013200+ \u043c\u0438\u043d\u0443\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0435 2\u20136 \u043c\u0435\u0441\u044f\u0446\u0435\u0432. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, <strong>~100-\u043c\u0438\u043d\u0443\u0442\u043d\u044b\u0435 time horizons \u0438 ~4-\u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f, \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u043d\u0430 METR-HRS \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c<\/strong>.<\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043e\u043c (OSWorld, WebArena) time horizon \u0432 40\u2013100 \u0440\u0430\u0437 \u043a\u043e\u0440\u043e\u0447\u0435, \u0447\u0435\u043c \u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 reasoning \u0438 software, \u043d\u043e \u0442\u0435\u043c\u043f \u0440\u043e\u0441\u0442\u0430 \u2014 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439. \u0412 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442\u0430 (Tesla FSD) \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0438\u0434\u0443\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435: \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 0.6 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u044f \u0432 \u0433\u043e\u0434. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u0438\u0434\u0435\u043e\u00a0(VideoMME, CGBench) \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u0432\u0438\u0434\u0435\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u043a\u043e\u043b\u043e \u0447\u0430\u0441\u0430 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e &gt;50%, \u043e\u0434\u043d\u0430\u043a\u043e \u0441\u0430\u043c time horizon \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u043c\u0435\u043d\u0430. \u041d\u0438 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 \u043d\u0435 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u044f\u0432\u043d\u043e \u0441\u0443\u0431\u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0430.<\/p>\n<p>\u0421 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u0440 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0435\u043d, \u0447\u0435\u043c \u043b\u044e\u0431\u043e\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u043c\u043e\u0436\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c, \u0447\u0442\u043e time horizons \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u043d\u043e\u0433\u0438\u0435 \u0438\u0437 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0445 time horizon \u2014 \u044d\u0442\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445; \u043d\u0438\u0436\u0435 \u043c\u044b \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0432 \u0442\u0435\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u0433\u0434\u0435 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0418\u0418 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043b\u0438\u0448\u044c \u043d\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0438\u043b\u0438 \u043c\u0438\u043d\u0443\u0442\u044b, \u0432 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 5 \u043b\u0435\u0442 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u043e\u0441\u0442 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e time horizons, \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0445 \u0434\u043d\u044f\u043c\u0438 \u0438 \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%5B1%5D\" id=\"[1]\"><\/a><\/p>\n<p><strong><sup>[1]<\/sup><\/strong><sup> \u0414\u0430\u0436\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0434\u043e\u043c\u0435\u043d\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f\u043c \u0432 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0418\u0418 \u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u0412\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u0448\u0430\u0445\u043c\u0430\u0442\u044b,Go \u0438 \u043f\u043e\u043a\u0435\u0440 \u2014 \u0442\u0440\u0438 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0433\u0440. \u0421\u0432\u0435\u0440\u0445\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0448\u0430\u0445\u043c\u0430\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0431\u044b\u043b \u0441\u043e\u0437\u0434\u0430\u043d \u0432 1997 \u0433\u043e\u0434\u0443, \u043e\u0434\u043d\u0430\u043a\u043e \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 G\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043a\u043e\u0440\u0438\u0442\u044c \u043b\u0438\u0448\u044c \u0432 2016 \u0433\u043e\u0434\u0443, \u0430 \u043f\u043e\u043a\u0435\u0440 \u2014 \u0432 \u043f\u0435\u0440\u0438\u043e\u0434 \u0441 2017 \u043f\u043e 2019 \u0433\u043e\u0434. \u0422\u0430\u043c\u0430\u0439 \u0411\u0435\u0440\u0441\u0438\u043b\u043e\u0433\u043b\u0443 \u043e\u0442\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u0448\u0430\u0445\u043c\u0430\u0442\u043d\u044b\u0435 \u0434\u0432\u0438\u0436\u043a\u0438, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 time horizon, \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u043c <\/sup><a href=\"https:\/\/x.com\/tamaybes\/status\/1902537990062342547\" rel=\"noopener noreferrer nofollow\"><sup>\u0433\u043e\u0434\u0430\u043c\u0438<\/sup><\/a><sup>.<\/sup><\/p>\n<h2>\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f<\/h2>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u043c\u044b \u043e\u0442\u043e\u0431\u0440\u0430\u043b\u0438 9 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 (a) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0438 (b) \u0438\u043c\u0435\u044e\u0442 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u044b\u0445 AI-\u0430\u0433\u0435\u043d\u0442\u043e\u0432. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0443\u044e \u0442\u043e\u0439, \u0447\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u0433\u0434\u0435 <em>h<sub>agent<\/sub><\/em> \u2014 \u044d\u0442\u043e 50% time horizon, <em>t<sub>task<\/sub><\/em> \u2014 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438, \u0430 <em>\u03b2<\/em><sub>agent<\/sub> \u2014 \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u0435\u043c\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0430\u043a\u043b\u043e\u043d\u0430, \u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0432\u043e\u0434\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 <em>c<sub>task<\/sub><\/em> \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432:<\/p>\n<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b (\u0430\u0433\u0435\u043d\u0442, \u0437\u0430\u0434\u0430\u0447\u0430) \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u043b\u0441\u044f \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043a\u043e\u0440, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438, \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0432\u0441\u0451\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u0440\u0438\u0432\u043e\u0439.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0438\u043b\u0438 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u043c \u0437\u0430\u0434\u0430\u0447 \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 easy\/medium\/hard \u0432 LiveCodeBench), \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (MLE), \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <em>h<sub>agent<\/sub><\/em> \u0438 <em>\u03b2<sub>agent<\/sub><\/em>, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u044e\u0449\u0438\u0435\u0441\u044f \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[2]<\/sup><\/strong><\/a>. \u0415\u0441\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0443 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u03b2 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u0435 0.25 (\u0447\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0443 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0448\u0430\u043d\u0441\u043e\u0432 \u043d\u0430 \u043d\u0435\u0443\u0441\u043f\u0435\u0445 \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0432 1.28 \u0440\u0430\u0437\u0430 \u043f\u0440\u0438 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438), \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c \u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u043b\u0430\u0431\u043e\u0439 \u0434\u043b\u044f \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 time horizon \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0442\u0430\u043a\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u043a\u043e\u0440, \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u043a\u00a0 <em>h<sub>agent<\/sub><\/em>, \u0442\u0430\u043a \u0438 <em>\u03b2<sub>agent<\/sub><\/em>. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e <em>\u03b2<sub>agent<\/sub><\/em> \u0440\u0430\u0432\u0435\u043d \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0443 METR-HRS, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 0.6. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>h<sub>agent<\/sub><\/em> \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u043e \u0441 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u043c \u0430\u0433\u0435\u043d\u0442\u0430 <em>s<sub>agent<\/sub><\/em>, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447 <em>t<sub>task<\/sub><\/em><a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[3]<\/sup><\/strong><\/a><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u0438 \u043e\u0446\u0435\u043d\u043a\u0435 time horizon \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435, \u043e\u043d \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434 MLE. \u041c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c, \u043a\u043e\u0433\u0434\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0438 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c time horizon.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"center\"><strong>\u0414\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0441\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f (Kwa &amp; West et al., 2025)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430  <\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0446\u0435\u043d\u043a\u0430 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u2014 \u0437\u0430\u043c\u0435\u0440\u044b \u043d\u0430 \u043b\u044e\u0434\u044f\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\u0414\u0430\u043d\u043d\u044b\u0435 \u043e\u0431 \u0443\u0441\u043f\u0435\u0445\u0430\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">% \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u043f\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u043c \u0437\u0430\u0434\u0430\u0447; \u0437\u0430\u043f\u0430\u0441\u043d\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u043e\u0431\u0449\u0438\u0439 % \u0443\u0441\u043f\u0435\u0445\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u043f\u043e 8 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u0430\u0440\u0443 \u0437\u0430\u0434\u0430\u0447\u0430\u2013\u0430\u0433\u0435\u043d\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"164\" width=\"164\">\n<p align=\"left\">\u041c\u0435\u0442\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">MLE \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 h \u0438 \u03b2; \u0437\u0430\u043f\u0430\u0441\u043d\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u03b2, \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u0434\u043b\u044f h<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 time horizon \u0438 \u043d\u0430\u043a\u043b\u043e\u043d\u0430 \u03b2<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0442\u0440\u0435\u043d\u0434\u043b\u0430\u0439\u043d, \u043c\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0441 horizon \u0432\u044b\u0448\u0435 \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f) \u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u043c<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[4]<\/sup><\/strong><\/a>.<\/p>\n<p>\u041d\u0430 METR-HRS \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f time horizon, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438, \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u043e\u0439, \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0432 2 \u0440\u0430\u0437\u0430 (\u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438) \u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043b\u0435\u0436\u0430\u0442 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u00b1 25%. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435, \u043f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443, \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0440\u0430\u0437\u043d\u044b\u043c \u0432\u0435\u0441\u043e\u043c \u0437\u0430\u0434\u0430\u0447 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0438\u0445 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[5]<\/sup><\/strong><\/a>.<\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u043c\u044b \u0432\u043d\u0435\u0441\u043b\u0438 \u0434\u0432\u0430 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u0439 \u043e time horizon. <\/p>\n<p><strong>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445<\/strong>, \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u043b\u0438\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c <strong>\u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u0443\u0441\u043f\u0435\u0445\u0430<\/strong> (<em>conditional on success<\/em>). \u0417\u0434\u0435\u0441\u044c \u0436\u0435 \u043c\u044b \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043d\u0438\u0437\u043a\u0430\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0442\u0440\u0443\u0434\u043d\u0435\u0435, \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0435\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u0435\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u0443\u0441\u043f\u0435\u0445\u0430 \u0443 \u043b\u044e\u0434\u0435\u0439<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[6]<\/sup><\/strong><\/a>.<\/p>\n<p><strong>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445<\/strong>, \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0430 <strong>\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/strong> <em>(chance accuracy)<\/em> \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0432\u044b\u0431\u043e\u0440\u043e\u043c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e <em>c<sub>task<\/sub><\/em> <a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[7]<\/sup><\/strong><\/a>. <\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u043d\u043d\u044b\u0445 Tesla FSD \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0438\u043d\u0430\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b <em>&#171;<\/em><a href=\"#podrobnosti-po-otdelnym-benchmarkam\" rel=\"noopener noreferrer nofollow\"><em>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c<\/em><\/a><em>&#171;<\/em>). <\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0437\u0434\u0435\u0441\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c time horizon \u0431\u0435\u0437 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u03b2, \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043e\u0446\u0435\u043d\u043a\u0435 time horizon \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438<a href=\"#%5B2-8%5D\" rel=\"noopener noreferrer nofollow\"><strong><sup>[8]<\/sup><\/strong><\/a>.<\/p>\n<p>\u041d\u0430\u0448 \u043a\u043e\u0434 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c <a href=\"https:\/\/github.com\/METR\/cross-domain-horizon\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a>.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%5B2-8%5D\" id=\"[2-8]\"><\/a><\/p>\n<p><strong><sup>[2]<\/sup><\/strong><sup> \u042d\u0442\u043e \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u043f\u043e\u043b\u043d\u044b\u0439 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u0438 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443 \u043d\u0430\u0441 \u0441\u043b\u0430\u0431\u044b\u0435 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e horizon \u0438 slope, \u043c\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c MAP.<\/sup><\/p>\n<p><strong><sup>[3]<\/sup><\/strong><sup> \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u043f\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u043a <\/sup><em><sup>h<sub>agent<\/sub><\/sup><\/em><sup>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a.<\/sup><\/p>\n<p><strong><sup>[4]<\/sup><\/strong><sup> \u042d\u0442\u043e \u0434\u0430\u0442\u0430 \u0440\u0435\u043b\u0438\u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438; \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043b\u0438\u0434\u0435\u0440\u043e\u0432 OSWorld \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u043a\u043e\u043b\u043e 7B, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0434\u043b\u044f <\/sup><a href=\"https:\/\/osworld-grounding.github.io\/\" rel=\"noopener noreferrer nofollow\"><sup>GUI-grounding<\/sup><\/a><sup>.<\/sup><\/p>\n<p><strong><sup>[5]<\/sup><\/strong><sup> \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u00ab\u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u0437\u0430\u0434\u0430\u0447\u00bb \u0441 \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0442\u0438\u043f\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430).<\/sup><\/p>\n<p><strong><sup>[6]<\/sup><\/strong><sup> \u0421\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0432\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0442\u0440\u0430\u0442\u0438\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a (\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0438\u0437 \u043f\u043e\u043f\u0443\u043b\u044f\u0446\u0438\u0438) \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041a\u043e\u0440\u0440\u0435\u043a\u0446\u0438\u044f \u043f\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043b\u044f OSWorld, MATH \u0438 AIME. \u041c\u044b \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u0443 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u043a\u0443 \u0434\u043b\u044f METR-HRS, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u043d\u043e\u0433\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 baseline \u0431\u044b\u043b\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c\u0438, \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b\u043c\u0438 \u043a \u043c\u043e\u0434\u0435\u043b\u044f\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u044b \u0438\u043b\u0438 \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u0438); \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043c\u0435\u0449\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0438 horizon \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u043c\u0438.  <\/sup><\/p>\n<p><strong><sup>[7]<\/sup><\/strong><sup> <\/sup><em><sup>C<sub>task<\/sub><\/sup><\/em><sup> \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u044b\u043c \u043d\u0443\u043b\u044e \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c, 1\/n \u2014 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u0438\u0437 n \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043e\u0442\u0432\u0435\u0442\u0430, \u0438 1\/1000 \u2014 \u0434\u043b\u044f AIME, \u0433\u0434\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u2014 \u0446\u0435\u043b\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u043e\u0442 0 \u0434\u043e 999 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e.<\/sup><\/p>\n<p><strong><sup>[8] <\/sup><\/strong><sup>\u0415\u0441\u043b\u0438 \u03b2 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u043e, time horizon \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u043f\u0440\u0438\u0433\u043e\u0434\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439; \u0441\u043c. \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435.<\/sup><\/p>\n<h2>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438<\/h2>\n<figure class=\"full-width\">\n<div><figcaption><a href=\"https:\/\/docs.google.com\/spreadsheets\/d\/1HFmeppcq0203_6uQxD2FX07qtZGwbcslbVdKmCknAcY\/edit?usp=sharing\" rel=\"noopener noreferrer nofollow\"><em>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/em><\/a><\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\">\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1:<\/em><\/strong><em> \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c (\u0430\u0432\u0442\u043e\u043f\u0438\u043b\u043e\u0442 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d \u0438\u0437-\u0437\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445). \u0411\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.<\/em><\/figcaption><\/div>\n<\/figure>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n<h3>\u0422\u0440\u0435\u043d\u0434\u044b \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445<\/h3>\n<figure class=\"full-width\">\n<div><figcaption><strong><em>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2:<\/em><\/strong><em> \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430. \u041a\u0430\u0436\u0434\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f time horizon \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 (<\/em><a href=\"https:\/\/docs.scipy.org\/doc\/scipy\/reference\/generated\/scipy.interpolate.make_splrep.html#scipy.interpolate.make_splrep\" rel=\"noopener noreferrer nofollow\"><em>\u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043b\u0430\u0439\u043d<\/em><\/a><em> \u0441<\/em><\/figcaption><\/div>\n<\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-471869","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/471869","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=471869"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/471869\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=471869"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=471869"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=471869"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}