{"id":503599,"date":"2026-11-17T15:59:35","date_gmt":"2026-11-17T12:59:35","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=503599"},"modified":"2026-11-17T15:59:35","modified_gmt":"2026-11-17T12:59:35","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=503599","title":{"rendered":"\u0410\u0433\u0435\u043d\u0442\u044b \u0442\u043e\u0436\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438: \u0437\u0430\u0447\u0435\u043c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c \u043d\u0443\u0436\u043d\u044b \u043e\u0446\u0435\u043d\u043a\u0438"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u00ab<a href=\"https:\/\/vercel.com\/blog\/agent-evals\" rel=\"noopener nofollow\">Agents are users, so your software needs evals<\/a>\u00bb.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u044f \u0432\u0435\u0434\u0443 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c \u043a\u0430\u043d\u0430\u043b \u00ab<a href=\"https:\/\/t.me\/frontend_pasta\" rel=\"noopener nofollow\">Frontend \u043f\u043e\u2011\u0444\u043b\u043e\u0442\u0441\u043a\u0438<\/a>\u00bb, \u0433\u0434\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u043f\u0440\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0432\u0435\u0449\u0438 \u0438\u0437 \u043c\u0438\u0440\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432 \u0438 AI.<\/p>\n<h3>\u0412\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0410\u0433\u0435\u043d\u0442\u044b \u0443\u0436\u0435 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u043e\u0442 \u0438\u043c\u0435\u043d\u0438 \u043b\u044e\u0434\u0435\u0439. \u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0442\u043e\u0433\u043e, \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0435 \u043b\u0438 \u0432\u044b \u0441\u0430\u043c\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 \u0438\u043b\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u043d \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u0431\u0443\u0434\u044c \u0442\u043e API, CLI, MCP-\u0441\u0435\u0440\u0432\u0435\u0440 \u0438\u043b\u0438 SDK, \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430.<\/p>\n<p>\u0410\u0433\u0435\u043d\u0442\u044b, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0432\u0430\u0448\u0435 \u0432\u0438\u0434\u0435\u043e \u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0438 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0439 \u0449\u0438\u0442 \u043d\u0430 \u0448\u043e\u0441\u0441\u0435 101. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043e\u043d\u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0442\u0443 \u0436\u0435 \u0432\u043e\u0440\u043e\u043d\u043a\u0443, \u0447\u0442\u043e \u0438 \u043b\u044e\u0434\u0438: \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u0432\u044b\u0431\u043e\u0440, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/f5\/3c\/3c\/f53c3c698710d31a0f3d57754aaac500.png\" alt=\"\u0412\u043e\u0440\u043e\u043d\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0430\u0433\u0435\u043d\u0442\u0430\u043c\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/f5\/3c\/3c\/f53c3c698710d31a0f3d57754aaac500.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/f5\/3c\/3c\/f53c3c698710d31a0f3d57754aaac500.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0412\u043e\u0440\u043e\u043d\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0430\u0433\u0435\u043d\u0442\u0430\u043c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u044d\u0442\u0430\u043f\u0435 \u0432\u043e\u0440\u043e\u043d\u043a\u0438 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043b\u044e\u0434\u044c\u043c\u0438. \u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u044d\u0442\u0430\u043f\u044b \u043f\u043e\u044f\u0441\u043d\u044f\u044e\u0442\u0441\u044f \u0442\u0430\u043a: \u0430\u0433\u0435\u043d\u0442 \u0443\u0437\u043d\u0430\u0451\u0442 \u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0435\u0433\u043e, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043a \u043d\u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0443\u043f \u0438 \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<p>\u041e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0438\u0437 \u044d\u0442\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c: \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u043a\u0430\u0436\u0435\u0442\u0441\u044f. \u0410\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u00ab\u0443\u0441\u043f\u0435\u0448\u043d\u043e\u00bb \u0437\u0430\u043a\u0430\u0437\u0430\u0442\u044c \u0433\u043e\u0440\u044f\u0447\u0438\u0439 \u043b\u0430\u0442\u0442\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0438\u043b \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439. \u0417\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u043e\u0448\u0451\u043b, \u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u0442\u0432\u0435\u0442\u044b LLM \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043e\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u0438\u043d \u0443\u0434\u0430\u0447\u043d\u044b\u0439 \u0440\u0443\u0447\u043d\u043e\u0439 \u0442\u0435\u0441\u0442 \u043d\u0435 \u043f\u043e\u043a\u0430\u0436\u0435\u0442, \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043b\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u041d\u0443\u0436\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 (eval) \u0438 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442: \u0435\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u0438 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0431\u0430\u043b\u043b\u044b \u0437\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/p>\n<h3>\u041f\u0438\u0440\u0430\u043c\u0438\u0434\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043b\u0438 \u044d\u0442\u043e?\u00bb, \u043e\u0446\u0435\u043d\u043a\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u00ab\u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e?\u00bb.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u0435\u043b\u044f\u0442 \u0442\u0435\u0441\u0442\u044b \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043f\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 LLM: \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b (0), \u043e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 (1) \u0438 \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 (2 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0437\u0430 \u0432\u0441\u044e \u0437\u0430\u0434\u0430\u0447\u0443). \u042d\u0442\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0442\u0440\u0443\u0434\u043e\u0451\u043c\u043a\u043e\u0441\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f, \u0432\u0440\u0435\u043c\u044f \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430. \u041a\u0430\u043a \u0438 \u0432 <a href=\"https:\/\/martinfowler.com\/articles\/practical-test-pyramid.html\" rel=\"noopener nofollow\">\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/a>, \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0434\u0435\u0448\u0451\u0432\u044b\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0442\u0435\u0441\u0442\u044b.<\/p>\n<p>\u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u0430 \u0438 \u043a \u0430\u0433\u0435\u043d\u0442\u0430\u043c: \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 LLM, \u0442\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0448\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0442\u0440\u0443\u0434\u0430 \u0438 \u0434\u0435\u043d\u0435\u0433. \u0412 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u0431\u0435\u0437 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0430\u0434 \u043d\u0438\u043c\u0438 \u043e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441 \u043e\u0434\u043d\u0438\u043c \u0432\u044b\u0437\u043e\u0432\u043e\u043c, \u0430 \u043d\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441 \u0434\u0432\u0443\u043c\u044f \u0438 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0437\u043e\u0432\u0430\u043c\u0438.<\/p>\n<p>\u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0443\u0440\u043e\u0432\u043d\u044f \u043d\u0430\u0447\u043d\u0438\u0442\u0435 \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0445\u043e\u0442\u0438\u0442\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c, \u0438 \u0432\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u0441\u0430\u043c\u044b\u0439 \u043d\u0438\u0437\u043a\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0439 \u0435\u0451 \u0432\u044b\u044f\u0432\u0438\u0442\u044c. \u0414\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043d\u0443\u0436\u0435\u043d \u0432\u0435\u0440\u0445\u043d\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c. \u041e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0435\u0440\u0432\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0430\u0433\u0435\u043d\u0442\u0430. \u0423\u0441\u043f\u0435\u0445 \u0436\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0441\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438: \u043f\u043e\u0438\u0441\u043a \u043a\u0430\u0444\u0435, \u043e\u0442\u0431\u043e\u0440 \u043f\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0437\u0430\u043a\u0430\u0437 \u043b\u0430\u0442\u0442\u0435. \u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u043c, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c.<\/p>\n<p>\u0421\u043a\u0432\u043e\u0437\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0430\u0433\u0435\u043d\u0442\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u0435, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0442\u043e\u0433 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/arxiv.org\/abs\/2310.06770\" rel=\"noopener nofollow\">SWE-bench<\/a> \u0438 <a href=\"https:\/\/tbench.ai\/\" rel=\"noopener nofollow\">Terminal-Bench<\/a>, \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043a \u044d\u0442\u043e\u043c\u0443 \u0442\u0438\u043f\u0443.<\/p>\n<h4>\u041f\u0440\u0438\u043c\u0435\u0440<\/h4>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c SF Beans, API \u0434\u043b\u044f \u0437\u0430\u043a\u0430\u0437\u0430 \u043a\u043e\u0444\u0435 \u0432 \u0421\u0430\u043d-\u0424\u0440\u0430\u043d\u0446\u0438\u0441\u043a\u043e. \u0427\u0442\u043e\u0431\u044b \u0430\u0433\u0435\u043d\u0442\u044b \u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u043c, \u0432\u044b \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0435 CLI <code>sfbeans<\/code>. \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u043b\u0438\u0435\u043d\u0442\u0430:<\/p>\n<blockquote>\n<p>\u0417\u0430\u043a\u0430\u0436\u0438 \u043c\u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u043b\u0430\u0442\u0442\u0435 \u0441 \u0446\u0435\u043b\u044c\u043d\u044b\u043c \u043c\u043e\u043b\u043e\u043a\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u043a 9:00, \u0434\u0435\u0448\u0435\u0432\u043b\u0435 $8 \u0441 \u0447\u0430\u0435\u0432\u044b\u043c\u0438. \u042f \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 \u041c\u0438\u0448\u0435\u043d.<\/p>\n<\/blockquote>\n<p>\u0412 8:30 <code>sfbeans<\/code> \u0437\u043d\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>Fog City Roasters: \u0441\u043b\u043e\u043c\u0430\u043b\u0430\u0441\u044c \u043c\u0430\u0448\u0438\u043d\u0430 \u0434\u043b\u044f \u043b\u044c\u0434\u0430, \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0445 \u043d\u0430\u043f\u0438\u0442\u043a\u043e\u0432 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>24th St Beans: \u043b\u0430\u0442\u0442\u0435 \u0441\u0442\u043e\u0438\u0442 $7,50 \u043f\u043e \u043c\u0435\u043d\u044e, \u043d\u043e $9,27 \u0441 \u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0438 \u0447\u0430\u0435\u0432\u044b\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>Dolores Drip: \u043b\u0430\u0442\u0442\u0435 \u0441\u0442\u043e\u0438\u0442 $5,50, \u043d\u043e \u0440\u0430\u043d\u044c\u0448\u0435 9:20 \u0435\u0433\u043e \u043d\u0435 \u0437\u0430\u0431\u0440\u0430\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>Valencia Grind: $7,42 \u0441 \u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0438 \u0447\u0430\u0435\u0432\u044b\u043c\u0438, \u0433\u043e\u0442\u043e\u0432 \u043a 8:50. \u041f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0423\u0440\u043e\u0432\u0435\u043d\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041d\u0430 \u043a\u0430\u043a\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f sfbeans<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a, \u043a\u0430\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f?<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>sfbeans search --drink latte --area mission<\/code> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0444\u0435 \u0432 \u041c\u0438\u0448\u0435\u043d\u0435, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u043b\u0430\u0442\u0442\u0435; <code>quote<\/code> \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0430\u043b\u043e\u0433 \u0438 \u0447\u0430\u0435\u0432\u044b\u0435; <code>order<\/code> \u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0410\u0433\u0435\u043d\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0438 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u044b?<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043b\u0438 \u043e\u043d \u0441 <code>sfbeans search --drink latte --area mission<\/code>? \u0423\u0437\u043d\u0430\u0432 \u0446\u0435\u043d\u0443 $7,50 \u0432 24th St Beans, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043b\u0438 <code>quote<\/code> \u043f\u0435\u0440\u0435\u0434 \u0437\u0430\u043a\u0430\u0437\u043e\u043c? \u0423\u0437\u043d\u0430\u0432, \u0447\u0442\u043e \u0432 Fog City \u043d\u0435\u0442 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0445 \u043d\u0430\u043f\u0438\u0442\u043a\u043e\u0432, \u0438\u0449\u0435\u0442 \u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u043a\u0430\u0444\u0435?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043a\u0432\u043e\u0437\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0410\u0433\u0435\u043d\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443?<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0435\u043b\u0430\u0435\u0442 \u043b\u0438 \u043e\u043d \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u0438\u043d \u0437\u0430\u043a\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0430\u0442\u0442\u0435 \u0441 \u0446\u0435\u043b\u044c\u043d\u044b\u043c \u043c\u043e\u043b\u043e\u043a\u043e\u043c, \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043a 9:00 \u0438 \u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435 $8 \u0441 \u0447\u0430\u0435\u0432\u044b\u043c\u0438?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u041a\u0430\u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443<\/h3>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u043a\u043e\u0444\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c <a href=\"https:\/\/github.com\/harbor-framework\/harbor\" rel=\"noopener nofollow\">Harbor<\/a>, \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u043e\u0442 \u0441\u043e\u0437\u0434\u0430\u0442\u0435\u043b\u0435\u0439 Terminal-Bench. \u041e\u043d \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430\u0445, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0438\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f.<\/p>\n<p>\u0422\u0435\u0440\u043c\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 (task): \u043e\u0434\u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430, \u0441 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u043e\u0439 \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0430\u0440\u0438\u0430\u043d\u0442 (variant): \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u043e\u043c\u043f\u0442, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u043d\u0430\u0432\u044b\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043f\u044b\u0442\u043a\u0430 (trial): \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0440\u0435\u0448\u0438\u0442\u044c \u043e\u0434\u043d\u0443 \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a (run, \u0432 Harbor job): \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0440\u0435\u0448\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0440\u0430\u0441\u0441\u0430 (trace, \u0432 Harbor trajectory): \u0432\u0441\u0451, \u0447\u0442\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0438: \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0432\u044b\u0437\u043e\u0432\u044b \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043b\u043e\u0433\u0438, \u0444\u0430\u0439\u043b\u044b \u0438 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0428\u0430\u0433 1. \u041f\u043e\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0446\u0435\u043b\u044c<\/h4>\n<p>\u0421\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u043e. \u0412 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u043a 100% \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0414\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0436\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u043e\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0451, \u0447\u0442\u043e LLM \u043c\u043e\u0436\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u043c, \u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u044d\u0442\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u043e (\u0441\u043c. <a href=\"https:\/\/papers.ssrn.com\/sol3\/papers.cfm?abstract_id=4573321\" rel=\"noopener nofollow\">jagged frontier<\/a>).<\/p>\n<p>\u041d\u0430\u0447\u043d\u0438\u0442\u0435 \u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u0437\u043a\u043e\u0433\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438. \u0426\u0435\u043b\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0442\u0440\u0451\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u0445:<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u044c: \u043a\u0430\u043a\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u043c \u0438 \u0433\u0434\u0435 \u043e\u043d\u0438 \u043e\u0448\u0438\u0431\u0430\u044e\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0438\u0435\u043d\u0442\u044b: \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443, \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u044c \u0438 \u043e\u0442\u0442\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u0440\u043e\u0436\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430: \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0434\u043e\u043b\u044e \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0448\u0430\u0433\u043e\u0432, \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u0443 \u043d\u0430\u0432\u044b\u043a\u0430 \u0430\u0433\u0435\u043d\u0442\u0430 \u0438 <a href=\"https:\/\/developers.openai.com\/blog\/eval-skills\" rel=\"noopener nofollow\">\u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f<\/a>, \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 A\/B-\u0442\u0435\u0441\u0442 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0438\u043b\u0438 \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c, \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043b\u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u043d\u044b\u043d\u0435\u0448\u043d\u0438\u043c LLM \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0438 \u0441 \u043d\u0438\u043c \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f.<\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440<\/h3>\n<p>\u0414\u043b\u044f <code>sfbeans<\/code> \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0437\u0443\u0447\u0438\u043b\u0438 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u043e\u0442 Claude Code \u0438 Codex: CLI \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a user-agent, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0440\u0435\u0434\u0443 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0421\u0430\u043c\u043e\u0435 \u0447\u0430\u0441\u0442\u043e\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443: \u00ab\u043c\u043e\u0439 \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u043d\u0435 \u0442\u043e\u0442 \u043d\u0430\u043f\u0438\u0442\u043e\u043a\u00bb. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0433\u043e\u0440\u044f\u0447\u0438\u0439 \u043b\u0430\u0442\u0442\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0433\u043e, \u0437\u0430\u043a\u0430\u0437 \u043a \u0432\u044b\u0434\u0430\u0447\u0435 \u043f\u043e\u0441\u043b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u0438\u043b\u0438 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u043b\u043e\u0433\u0430 \u0438 \u0447\u0430\u0435\u0432\u044b\u0445. \u0412 \u0434\u043e\u0440\u043e\u0436\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u0441\u0440\u043e\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u043d\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u043e\u0432, \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0449\u0430\u044f \u043a \u043e\u0442\u0442\u043e\u043a\u0443, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0435\u0448\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0426\u0435\u043b\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0434\u043e\u043b\u044e \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u0433\u0435\u043d\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">Claude Code \u0438 Codex, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u0442 \u043d\u0438\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0442\u0440\u0430\u0444\u0438\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0445\u043e\u0434\u0438\u0442 \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0430\u043f\u0438\u0442\u043e\u043a, \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0434\u0430\u0447\u0438 \u0438 \u0431\u044e\u0434\u0436\u0435\u0442 \u0441 \u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0438 \u0447\u0430\u0435\u0432\u044b\u043c\u0438 \u043f\u0440\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 <code>sfbeans<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0442\u043c\u0435\u043d\u0430, \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u044b \u0438 \u0430\u043a\u043a\u0430\u0443\u043d\u0442\u044b; \u0438\u0445 \u043e\u0446\u0435\u043d\u044f\u0442 \u043f\u043e\u0437\u0436\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0430 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u0444\u043e\u0440\u043c\u043b\u044f\u044e\u0442 \u0437\u0430\u043a\u0430\u0437 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h4>\u0428\u0430\u0433 2. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/h4>\n<p>\u0414\u043b\u044f \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0445 \u043e\u0446\u0435\u043d\u043e\u043a \u0430\u0432\u0442\u043e\u0440\u044b \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0443\u0441\u043f\u0435\u0445\u0430:<\/p>\n<ul>\n<li>\n<p>\u0414\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a (success rate).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/proceedings.neurips.cc\/paper\/2019\/file\/7298332f04ac004a0ca44cc69ecf6f6b-Paper.pdf\" rel=\"noopener nofollow\">Pass@k<\/a>: \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u043d\u0430 \u0438\u0437 k \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0443\u0441\u043f\u0435\u0448\u043d\u0430. \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2406.12045\" rel=\"noopener nofollow\">Pass^k<\/a>: \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 k \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0443\u0441\u043f\u0435\u0448\u043d\u044b. \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0430\u0433\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a: \u0447\u0438\u0441\u043b\u043e \u0445\u043e\u0434\u043e\u0432 \u0430\u0433\u0435\u043d\u0442\u0430, \u0437\u0430\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u0430\u0445.<\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440<\/h3>\n<p>\u0426\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043a\u0430\u0437 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0431\u044b\u043b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0430 \u0448\u0430\u0433\u0430\u0445 3 \u0438 4 \u043f\u044f\u0442\u044c \u043f\u043e\u043f\u044b\u0442\u043e\u043a Claude Code + Opus 5.5 (<a href=\"https:\/\/vercel.com\/ai-gateway\/models\/claude-opus-5.5\" rel=\"noopener nofollow\">anthropic\/claude-opus-5.5<\/a> \u0432 <a href=\"https:\/\/vercel.com\/ai-gateway\" rel=\"noopener nofollow\">AI Gateway<\/a>) \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0442\u0430\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u043e\u043f\u044b\u0442\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0428\u0430\u0433\u0438<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0412\u0440\u0435\u043c\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u0441\u043f\u0435\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0440\u0430\u0432\u043d\u0438\u043b \u0446\u0435\u043d\u044b \u0432 3 \u043a\u0430\u0444\u0435, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Valencia<\/p>\n<\/td>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">3:40<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,52<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0435\u0432\u044b\u0448\u0435\u043d \u0431\u044e\u0434\u0436\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b <code>quote<\/code>, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 24th St \u0437\u0430 $9,27<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">1:50<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,31<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u0441\u043f\u0435\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0440\u0430\u0432\u043d\u0438\u043b \u0446\u0435\u043d\u044b \u0432 4 \u043a\u0430\u0444\u0435, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Valencia<\/p>\n<\/td>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\">4:30<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,68<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Dolores, \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u044c \u043a 9:20<\/p>\n<\/td>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<td>\n<p align=\"left\">2:10<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,35<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423\u0441\u043f\u0435\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b Fog City, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Valencia<\/p>\n<\/td>\n<td>\n<p align=\"left\">8<\/p>\n<\/td>\n<td>\n<p align=\"left\">3:20<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,49<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u0440\u0438 \u0438\u0437 \u043f\u044f\u0442\u0438 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0443\u0441\u043f\u0435\u0448\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c success rate \u0440\u0430\u0432\u0435\u043d 60%. \u0415\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u0437\u0430 60%, pass@5 = 1 \u2212 0,4^5 \u2248 99%: \u0437\u0430 \u043f\u044f\u0442\u044c \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0445\u043e\u0442\u044f \u0431\u044b \u0440\u0430\u0437 \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u0441\u044f. Pass^5 = 0,6^5 \u2248 8%: \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u0444\u043e\u0440\u043c\u0438\u0442\u044c \u043f\u044f\u0442\u044c \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u043f\u043e\u0434\u0440\u044f\u0434.<\/p>\n<p>\u0412 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u0445 \u0431\u044b\u043b\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c (9 + 11 + 8) \/ 3 \u2248 9 \u0448\u0430\u0433\u043e\u0432 \u0438 \u043e\u043a\u043e\u043b\u043e 3:50 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043a\u043e\u0440\u043e\u0447\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0441\u0447\u0451\u0442 \u0446\u0435\u043d\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a. \u0418\u0445 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 $0,56, \u043d\u043e \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043e\u043f\u043b\u0430\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0435\u0443\u0434\u0430\u0447 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0441\u043f\u0435\u0445\u0430 \u0440\u0430\u0432\u043d\u0430 $2,35 \/ 3 = $0,78.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0438 Opus? Pass@5 \u0432 99% \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0434\u0430. \u041d\u043e pass^5 \u0432 8% \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c, \u0437\u0430\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u0444\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u0443\u0434\u043d\u0438\u0439 \u0434\u0435\u043d\u044c, \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u0437\u0430\u043a\u0430\u0437 \u0432 92% \u043d\u0435\u0434\u0435\u043b\u044c. \u041e\u0431\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f \u0432\u0435\u0440\u043d\u044b: \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442, \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u043a\u0430\u0437, \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0434\u0435\u043b\u0430\u0435\u0442 \u043b\u0438 \u043e\u043d \u044d\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437.<\/p>\n<p>\u0412\u044b\u0431\u043e\u0440 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0446\u0435\u043d\u044b \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041f\u0440\u0438 \u0437\u0430\u043a\u0430\u0437\u0435 \u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043a\u043e\u0444\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043d\u0435\u0442: \u0437\u0430\u043a\u0430\u0437 \u0433\u043e\u0440\u044f\u0447\u0435\u0433\u043e \u043b\u0430\u0442\u0442\u0435 \u0438\u043b\u0438 \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0433\u043e\u0442\u043e\u0432 \u043f\u043e\u0441\u043b\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0435\u0437\u0434\u0430, \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0438\u0441\u043f\u043e\u0440\u0447\u0435\u043d\u043d\u043e\u0435 \u0443\u0442\u0440\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 <code>sfbeans<\/code> \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 pass^5.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0440\u043e\u0434\u0443\u043a\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0426\u0435\u043d\u0430 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0417\u0430\u043a\u0430\u0437 \u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043a\u043e\u0444\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u043f\u043b\u0430\u0442\u0430 \u043d\u0435 \u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443, \u043f\u043e\u0442\u0435\u0440\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">Pass^k<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u0433\u0435\u043d\u0442 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c; \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u043e\u0434 \u043f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0442\u0435\u0441\u0442\u043e\u0432 \u0438 \u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0441\u043d\u043e\u0432\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Pass@k<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0427\u0435\u0440\u043d\u043e\u0432\u0438\u043a \u043f\u0438\u0441\u044c\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0445\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u0449\u0438\u0435 \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u043c\u043e\u0433\u0443\u0442 \u0441\u043a\u0440\u044b\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u0447\u0430\u0441\u0442\u044b\u043c\u0438 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u0410 \u043f\u0440\u0438 \u043f\u044f\u0442\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u0445 100% \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u00ab\u043e\u0448\u0438\u0431\u043e\u043a \u043f\u043e\u043a\u0430 \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e\u00bb, \u0430 \u043d\u0435 \u00ab\u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442\u00bb.<\/p>\n<h4>\u0428\u0430\u0433 3. \u0421\u043e\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u043d\u0430\u0431\u043e\u0440 \u0437\u0430\u0434\u0430\u0447<\/h4>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0446\u0435\u043b\u044c: \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c. \u041d\u043e \u0430\u0433\u0435\u043d\u0442\u0443 \u043d\u0443\u0436\u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0432\u0437\u044f\u0442\u0430\u044f \u0438\u0437 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u0412\u044b\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u043d\u0430\u0431\u043e\u0440 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u043f\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u044b \u043e\u0448\u0438\u0431\u0430\u044e\u0442\u0441\u044f, \u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u0437\u0430\u043f\u0440\u043e\u0441, \u0433\u0434\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435:<\/p>\n<ul>\n<li>\n<p>\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e: \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0440\u0435\u0434\u0443: \u043c\u0435\u0441\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0433\u0435\u043d\u0442\u0430 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0443\u044e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443 (verifier): \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0432 \u0438\u0434\u0435\u0430\u043b\u0435 \u0441 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0437\u0430\u0432\u0435\u0434\u043e\u043c\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435: \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0440\u0435\u0434\u0443 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e\u0439, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0446\u0435\u043b\u0438. \u041a\u043e\u043c\u0430\u043d\u0434\u0430 OpenPipe <a href=\"https:\/\/openpipe.ai\/blog\/art-e-mail-agent\" rel=\"noopener nofollow\">\u043e\u043f\u0438\u0441\u0430\u043b\u0430<\/a>, \u043a\u0430\u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u0430 \u0441\u0440\u0435\u0434\u0443 \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430, \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u0443\u044e \u043f\u043e\u0447\u0442\u0443.<\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440<\/h3>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0447\u0435\u0442\u044b\u0440\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 Harbor, \u043a\u0430\u0436\u0434\u0430\u044f \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0430\u043f\u043a\u0435 <code>tasks\/<\/code>:<\/p>\n<ul>\n<li>\n<p>\u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: <code>iced-latte-mission<\/code>, \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0439 \u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u043a\u0430\u0437.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: <code>usual-unavailable<\/code>, \u0432 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u043c \u043a\u0430\u0444\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0441\u044f \u0435\u0433\u043e \u043d\u0430\u043f\u0438\u0442\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: <code>team-order<\/code>, \u0448\u0435\u0441\u0442\u044c \u043d\u0430\u043f\u0438\u0442\u043a\u043e\u0432 \u043d\u0430 \u043e\u0431\u0449\u0443\u044e \u0441\u0443\u043c\u043c\u0443 $45 \u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c: <code>impossible-request<\/code>, \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u043d\u0435\u0442 \u0438 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0438\u0442\u044c \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 <code>impossible-request<\/code> \u0435\u0441\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: verifier \u0447\u0438\u0442\u0430\u0435\u0442 \u0436\u0443\u0440\u043d\u0430\u043b \u043a\u043e\u043c\u0430\u043d\u0434, \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442\u0443 \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438, \u0447\u0442\u043e\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0442\u043e\u0442 \u0438\u0441\u043a\u0430\u043b \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0441\u0434\u0430\u0442\u044c\u0441\u044f. \u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0430\u0441\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u043d\u0430 \u0448\u0430\u0433\u0435 5.<\/p>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 <code>iced-latte-mission<\/code>:<\/p>\n<pre><code> tasks\/iced-latte-mission\/ \u251c\u2500\u2500 instruction.md        # \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u251c\u2500\u2500 task.toml             # \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438: \u0442\u0430\u0439\u043c-\u0430\u0443\u0442\u044b, verifier, \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u251c\u2500\u2500 environment\/          # \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u0431\u043e\u0440\u043a\u0438 Docker \u2502   \u251c\u2500\u2500 Dockerfile        # sfbeans \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u0430\u0444\u0435, \u0447\u0430\u0441\u044b \u043d\u0430 8:30 \u2502   \u251c\u2500\u2500 sfbeans           # \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0439 CLI \u2502   \u2514\u2500\u2500 cafes.json        # \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u0444\u0435, \u043c\u0435\u043d\u044e \u0438 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0434\u0430\u0447\u0438 \u251c\u2500\u2500 solution\/ \u2502   \u2514\u2500\u2500 solve.sh          # \u0437\u0430\u0432\u0435\u0434\u043e\u043c\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u0440\u0435\u0448\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u2514\u2500\u2500 tests\/     \u251c\u2500\u2500 test.sh           # \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430     \u2514\u2500\u2500 check_orders.py<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<p>\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 CLI <code>sfbeans<\/code>. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0430\u0433\u0435\u043d\u0442\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0432\u044b\u043a, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u0438\u043b\u0438 MCP-\u0441\u0435\u0440\u0432\u0435\u0440. \u0417\u0434\u0435\u0441\u044c \u0435\u0433\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u044f\u0432\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u044d\u0442\u0430\u043f\u044b \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0438 \u0432\u044b\u0431\u043e\u0440\u0430 \u0438 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0443\u0441\u043f\u0435\u0445\u0435.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432\u0440\u0435\u043c\u044f 8:30. \u041e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0447\u0430\u0441\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 <code>sfbeans<\/code>, \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u0447\u0430\u0441\u044b \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f:<\/p>\n<pre><code>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439 CLI sfbeans \u0438 \u0437\u0430\u043a\u0430\u0436\u0438 \u043c\u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u043b\u0430\u0442\u0442\u0435 \u0441 \u0446\u0435\u043b\u044c\u043d\u044b\u043c \u043c\u043e\u043b\u043e\u043a\u043e\u043c,\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043a 9:00, \u0434\u0435\u0448\u0435\u0432\u043b\u0435 $8 \u0441 \u0447\u0430\u0435\u0432\u044b\u043c\u0438. \u042f \u0432 \u041c\u0438\u0448\u0435\u043d\u0435.\u0421\u0435\u0439\u0447\u0430\u0441 8:30.<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u0440\u0435\u0434\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f, \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u043c\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f: \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 CLI <code>sfbeans<\/code>, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043a\u0430\u0444\u0435 \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0447\u0430\u0441\u0430\u043c\u0438. \u0422\u0430\u043a \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u0443\u0442\u0440\u043e.<\/p>\n<pre><code>FROM python:3.12-slimCOPY sfbeans \/usr\/local\/bin\/sfbeansCOPY cafes.json \/opt\/sfbeans\/cafes.jsonENV SFBEANS_DATA=\/opt\/sfbeans\/cafes.json \\    SFBEANS_ORDERS=\/opt\/sfbeans\/orders.json \\    SFBEANS_NOW=\"08:30\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><code>SFBEANS_NOW<\/code> \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u0432\u0440\u0435\u043c\u044f CLI \u043d\u0430 8:30. \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438 <code>cafes.json<\/code> \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u0440\u0435\u0434\u0435 \u0430\u0433\u0435\u043d\u0442\u0430. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043a\u043e\u0434 verifier \u0438 \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u0435\u0437 CLI. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0439\u0442\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443, \u0430\u0433\u0435\u043d\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f <a href=\"https:\/\/anthropic.com\/engineering\/demystifying-evals-for-ai-agents\" rel=\"noopener nofollow\">\u043e\u0431\u043c\u0430\u043d\u0443\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043e\u0446\u0435\u043d\u043a\u0438<\/a>, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0430\u0441\u0441\u043e\u0440\u0442\u0438\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c <code>orders.json<\/code>.<\/p>\n<p>Verifier \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0437\u0430\u043a\u0430\u0437 \u0441 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0433\u0435\u043d\u0442\u0430 Harbor \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 <code>test.sh<\/code> \u0438 \u0447\u0438\u0442\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u043a\u0438, \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432 <code>\/logs\/verifier\/reward.json<\/code>:<\/p>\n<pre><code class=\"bash\">python3 \/tests\/check_orders.py \/opt\/sfbeans\/orders.json &gt; \/logs\/verifier\/reward.json<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u0430\u043c\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 <code>check_orders.py<\/code>. \u041e\u043d\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0438 \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 <code>reward<\/code> \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 1, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u0432\u0441\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f. Harbor \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <code>reward<\/code> \u043a\u0430\u043a \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043f\u043e\u043f\u044b\u0442\u043a\u0438:<\/p>\n<pre><code class=\"python\">import json, os, syspath = sys.argv[1]orders = json.load(open(path)) if os.path.exists(path) else []o = orders[0] if len(orders) == 1 else {}reward = {    \"one_order\": int(len(orders) == 1),    \"right_drink\": int(o.get(\"drink\") == \"latte\" and o.get(\"size\") == \"l\"                       and o.get(\"temp\") == \"iced\" and o.get(\"milk\") == \"whole\"),    \"on_time\": int(o.get(\"ready_at\", \"99:99\") &lt;= \"09:00\"),    \"on_budget\": int(o.get(\"total\", 99) &lt;= 8.00),}reward[\"reward\"] = int(all(reward.values()))  # 1 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u0432\u0441\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044fprint(json.dumps(reward))<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u043a\u0430\u043a\u043e\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043e. \u0417\u0430\u0432\u0435\u0434\u043e\u043c\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0434\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430, \u0447\u0442\u043e\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442:<\/p>\n<pre><code class=\"bash\">sfbeans quote cafe_val07 --drink drink_lat_l --size l --temp iced --milk whole --tip 15%sfbeans order cafe_val07 --drink drink_lat_l --size l --temp iced --milk whole --pickup 08:50 --tip 15%<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041e\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u0437\u0430\u043a\u0430\u0437 \u0432 Valencia Grind, \u0437\u0430 \u0447\u0442\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c <code>reward<\/code> 1.<\/p>\n<p><code>task.toml<\/code> \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443: \u0437\u0430\u0434\u0430\u0451\u0442 \u0442\u0430\u0439\u043c-\u0430\u0443\u0442\u044b, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 verifier \u0432 \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0435 \u0430\u0433\u0435\u043d\u0442\u0430, \u0433\u0434\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f <code>orders.json<\/code>, \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0437\u0430\u043a\u0430\u0437\u044b \u043a\u0430\u043a \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043d\u0430 \u0448\u0430\u0433\u0435 5:<\/p>\n<pre><code>artifacts = [\"\/opt\/sfbeans\/orders.json\"][task]name = \"sfbeans\/iced-latte-mission\"[agent]timeout_sec = 600[verifier]timeout_sec = 60environment_mode = \"shared\" # \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0432 \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0435 \u0430\u0433\u0435\u043d\u0442\u0430, \u0433\u0434\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f orders.json<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h4>\u0428\u0430\u0433 4. \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u043e\u0446\u0435\u043d\u043a\u0443<\/h4>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0435 \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 CI, \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043e\u0446\u0435\u043d\u043e\u043a \u0442\u043e\u0436\u0435 \u0432\u0440\u044f\u0434 \u043b\u0438 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f. \u0412 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0430\u0433\u0435\u043d\u0442 \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a LLM; \u0437\u0430\u043f\u0443\u0441\u043a \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u044d\u0442\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p><a href=\"https:\/\/vercel.com\/kb\/guide\/run-terminal-bench-harbor-benchmarks-vercel-sandbox\" rel=\"noopener nofollow\">\u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f Harbor \u0441 Vercel<\/a>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432 \u0441\u0430\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a, \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441. \u041f\u043e\u043f\u044b\u0442\u043a\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e, \u043a\u0430\u0436\u0434\u0430\u044f \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 <a href=\"https:\/\/vercel.com\/docs\/sandbox\" rel=\"noopener nofollow\">Vercel Sandbox<\/a>, \u0430 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u044b \u0437\u0430\u0434\u0430\u0447 \u043a\u0435\u0448\u0438\u0440\u0443\u044e\u0442\u0441\u044f. <a href=\"https:\/\/vercel.com\/docs\/ai-gateway\" rel=\"noopener nofollow\">AI Gateway<\/a> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u043a\u043b\u044e\u0447 \u0438 \u0431\u044e\u0434\u0436\u0435\u0442 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a\u043e\u0432.<\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440<\/h3>\n<p>\u0414\u0432\u0430 \u0430\u0433\u0435\u043d\u0442\u0430, <a href=\"https:\/\/vercel.com\/docs\/ai-gateway\/coding-agents\/claude-code\" rel=\"noopener nofollow\">Claude Code<\/a> \u0438 <a href=\"https:\/\/vercel.com\/docs\/ai-gateway\/coding-agents\/openai-codex\" rel=\"noopener nofollow\">Codex<\/a>, \u0441 \u0434\u0432\u0443\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0430\u044e\u0442 \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430:<\/p>\n<pre><code class=\"yaml\">job_name: sfbeans-baselinen_attempts: 5 # \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430n_concurrent_trials: 10 # \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446 (\u043f\u0440\u0435\u0434\u0435\u043b Hobby)environment:  type: vercelagents:  - name: claude-code    model_name: anthropic\/claude-opus-5.5    env:      ANTHROPIC_AUTH_TOKEN: ${VERCEL_OIDC_TOKEN} # \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0430\u0433\u0435\u043d\u0442\u0443, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u0434\u043b\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438      ANTHROPIC_API_KEY: \"\"      ANTHROPIC_BASE_URL: https:\/\/ai-gateway.vercel.sh\/claude-code  - name: codex    model_name: openai\/gpt-6-astra    env:      OPENAI_API_KEY: ${VERCEL_OIDC_TOKEN}      OPENAI_BASE_URL: https:\/\/ai-gateway.vercel.sh\/codex\/v1  # \u041f\u043e \u0442\u043e\u043c\u0443 \u0436\u0435 \u043e\u0431\u0440\u0430\u0437\u0446\u0443 \u0434\u043e\u0431\u0430\u0432\u044c\u0442\u0435 anthropic\/claude-sonnet-5.5 \u0438 openai\/gpt-6.1-soldatasets:  - path: tasks\/<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430. \u0414\u043e\u0431\u0430\u0432\u044c\u0442\u0435 Sonnet \u0438 GPT-6.1 Sol \u043f\u043e \u0442\u043e\u043c\u0443 \u0436\u0435 \u043e\u0431\u0440\u0430\u0437\u0446\u0443 \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438\u0437 80 \u043f\u043e\u043f\u044b\u0442\u043e\u043a. \u0417\u0430\u0442\u0435\u043c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 Harbor, \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u043f\u0440\u043e\u0435\u043a\u0442 Vercel \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435:<\/p>\n<pre><code class=\"bash\">uv tool install --python 3.12 'harbor[vercel]==0.24.0' --with 'vercel==0.10.0' # \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438vercel login       # \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044fvercel link        # \u0432\u044b\u0431\u043e\u0440 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430vercel env pull    # \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 VERCEL_OIDC_TOKEN \u0432 .env.local (\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 12 \u0447\u0430\u0441\u043e\u0432)harbor run -c job.yaml    # 4 \u0437\u0430\u0434\u0430\u0447\u0438 \u00d7 4 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u00d7 5 \u043f\u043e\u043f\u044b\u0442\u043e\u043a = 80, \u043f\u043e 10 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043eharbor view jobs   # \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0439<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0430\u0440\u0438\u0444 Hobby: 10 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0435\u0433\u043e \u043b\u0438\u043c\u0438\u0442, \u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u043e\u0447\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u0435\u0430\u043d\u0441\u0430 \u0432 45 \u043c\u0438\u043d\u0443\u0442. \u041d\u0430 Pro <code>n_concurrent_trials<\/code> \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0434\u043e 10 000 (<a href=\"https:\/\/vercel.com\/docs\/sandbox\/pricing\" rel=\"noopener nofollow\">\u043b\u0438\u043c\u0438\u0442\u044b Sandbox<\/a>).<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <a href=\"https:\/\/vercel.com\/docs\/ai-gateway\/authentication-and-byok\/oidc\" rel=\"noopener nofollow\">\u0442\u043e\u043a\u0435\u043d OIDC<\/a> \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0441\u044f \u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0443 \u043a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0430\u0433\u0435\u043d\u0442\u0443. \u0417\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0436\u0438\u0432\u0443\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e Harbor \u0441 Vercel \u043f\u0440\u0430\u0432\u0438\u043b\u0430 <a href=\"https:\/\/vercel.com\/docs\/sandbox\/concepts\/firewall\" rel=\"noopener nofollow\">Sandbox firewall<\/a>, \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u043e\u043f\u044b\u0442\u043a\u0443 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c\u0438 \u0443\u0437\u043b\u0430\u043c\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 AI Gateway.<\/p>\n<p>\u0412\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0434\u0443\u0442 \u0434\u0430\u043b\u044c\u0448\u0435 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 <a href=\"https:\/\/vercel.com\/docs\/sandbox\/concepts\/firewall#credentials-brokering\" rel=\"noopener nofollow\">\u043f\u043e\u0441\u0440\u0435\u0434\u043d\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0435 \u0443\u0447\u0451\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/a>: \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c, \u0430 API-\u043a\u043b\u044e\u0447\u0438 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0441\u0440\u0435\u0434\u044b \u0430\u0433\u0435\u043d\u0442\u0430.<\/p>\n<h4>\u0428\u0430\u0433 5. \u041f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 \u0442\u0440\u0430\u0441\u0441\u044b<\/h4>\n<p>\u041e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u0430\u0433\u0435\u043d\u0442\u044b \u043e\u0448\u0438\u0431\u0430\u044e\u0442\u0441\u044f; \u0442\u0440\u0430\u0441\u0441\u044b \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442. \u0427\u0438\u0442\u0430\u0439\u0442\u0435 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u0438 \u0447\u0430\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445: \u0443\u0441\u043f\u0435\u0445 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043b\u0438\u0448\u044c, \u0447\u0442\u043e verifier \u043f\u0440\u0438\u043d\u044f\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u0430 \u0448\u0430\u0433\u0435 4 \u0432 <code>jobs\/sfbeans-baseline\/<\/code> \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f 80 \u043f\u0430\u043f\u043e\u043a \u043f\u043e\u043f\u044b\u0442\u043e\u043a. \u041a\u0430\u0436\u0434\u0430\u044f \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0430\u0433\u0435\u043d\u0442\u0430, \u043e\u0446\u0435\u043d\u043a\u0438 verifier \u0438 \u0437\u0430\u043a\u0430\u0437, \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0439 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432 \u0432 <code>task.toml<\/code>:<\/p>\n<pre><code>jobs\/sfbeans-baseline\/\u251c\u2500\u2500 result.json                     # \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u0441\u0435\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0438 \u0437\u0430\u0434\u0430\u0447\u251c\u2500\u2500 iced-latte-mission__Ab3dE7x\/    # \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0441\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u043c\u2502   \u251c\u2500\u2500 config.json                 # \u0430\u0433\u0435\u043d\u0442, \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u2502   \u251c\u2500\u2500 result.json                 # \u043e\u0446\u0435\u043d\u043a\u0438, \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0438\u2502   \u251c\u2500\u2500 trial.log                   # \u043b\u043e\u0433\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0434\u043b\u044f \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438 \u043e\u0448\u0438\u0431\u043e\u043a\u2502   \u251c\u2500\u2500 agent\/\u2502   \u2502   \u2514\u2500\u2500 trajectory.json         # \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u0432\u0438\u0434\u0435\u043b, \u0433\u043e\u0432\u043e\u0440\u0438\u043b \u0438 \u0434\u0435\u043b\u0430\u043b\u2502   \u251c\u2500\u2500 verifier\/\u2502   \u2502   \u251c\u2500\u2500 reward.json             # \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u043b\u0438 \u0432\u0441\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0437\u0430\u043a\u0430\u0437\u0430?\u2502   \u2502   \u2514\u2500\u2500 test-stdout.txt         # \u0432\u044b\u0432\u043e\u0434 verifier\u2502   \u2514\u2500\u2500 artifacts\/\u2502       \u2514\u2500\u2500 opt\/sfbeans\/orders.json # \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u0430\u043a\u0430\u0437 \u0430\u0433\u0435\u043d\u0442\u0430\u2514\u2500\u2500 \u2026                               # \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 79 \u043f\u043e\u043f\u044b\u0442\u043e\u043a<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041a\u043e\u043c\u0430\u043d\u0434\u0430 <code>harbor view jobs<\/code> \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0434\u043b\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0434\u043e\u043b\u044e \u0443\u0441\u043f\u0435\u0445\u0430 \u0438 \u043e\u0446\u0435\u043d\u043a\u0443 pass^5 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u0437\u0430\u0442\u0435\u043c \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442 \u043f\u043e \u0447\u0435\u0442\u044b\u0440\u0451\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0441 \u0440\u0430\u0432\u043d\u044b\u043c \u0432\u0435\u0441\u043e\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0412\u0430\u0440\u0438\u0430\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0423\u0441\u043f\u0435\u0445<\/p>\n<\/th>\n<th>\n<p align=\"left\">Pass^5<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u0438 \u0443\u0441\u043f\u0435\u0445\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0426\u0435\u043d\u0430 \u0443\u0441\u043f\u0435\u0445\u0430 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043d\u0435\u0443\u0434\u0430\u0447<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Claude Code + Opus 5.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">85%<\/p>\n<\/td>\n<td>\n<p align=\"left\">60%<\/p>\n<\/td>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,61<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Claude Code + Sonnet 5.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%<\/p>\n<\/td>\n<td>\n<p align=\"left\">52%<\/p>\n<\/td>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,27<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Codex + GPT-6 Astra<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%<\/p>\n<\/td>\n<td>\n<p align=\"left\">43%<\/p>\n<\/td>\n<td>\n<p align=\"left\">8<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,48<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Codex + GPT-6.1 Sol<\/p>\n<\/td>\n<td>\n<p align=\"left\">65%<\/p>\n<\/td>\n<td>\n<p align=\"left\">14%<\/p>\n<\/td>\n<td>\n<p align=\"left\">13<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,22<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c. \u041f\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u0448\u0430\u0433\u0435 2 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 pass^5 \u0434\u0430\u0436\u0435 \u043b\u0443\u0447\u0448\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u0430\u043b\u0451\u043a \u043e\u0442 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u0438. \u041d\u043e \u0441\u0430\u043c\u0438 \u0447\u0438\u0441\u043b\u0430 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043f\u043e\u043f\u044b\u0442\u043a\u0438.<\/p>\n<p>\u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0438\u0437 \u0448\u0430\u0433\u0430 2 Claude Code + Opus 5.5 \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u043d\u0430\u043f\u0438\u0442\u043e\u043a \u0432 24th St Beans \u0437\u0430 $9,27. Verifier \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043d\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435:<\/p>\n<pre><code class=\"json\">{  \"one_order\": 1,  \"right_drink\": 1,  \"on_time\": 1,  \"on_budget\": 0,  \"reward\": 0}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041d\u0430\u043f\u0438\u0442\u043e\u043a \u0438 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442, \u043d\u043e \u0431\u044e\u0434\u0436\u0435\u0442 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d; \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0439 <code>orders.json<\/code> \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442 \u0441\u0443\u043c\u043c\u0443 $9,27. \u0412 <code>agent\/trajectory.json<\/code> \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u043d\u0430\u0448\u0451\u043b \u043b\u0430\u0442\u0442\u0435 \u0432 \u041c\u0438\u0448\u0435\u043d\u0435, \u0443\u0432\u0438\u0434\u0435\u043b $7,50 \u0432 \u043c\u0435\u043d\u044e \u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0437\u0432\u0430\u043b <code>order<\/code> \u0431\u0435\u0437 <code>quote<\/code>. \u041e\u043d \u043f\u0440\u0438\u043d\u044f\u043b \u0446\u0435\u043d\u0443 \u043c\u0435\u043d\u044e \u0437\u0430 \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e.<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0442\u043e\u0442 \u0436\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u0438\u043b \u0440\u0430\u0441\u0447\u0451\u0442 \u0434\u043b\u044f \u0442\u0440\u0451\u0445 \u043a\u0430\u0444\u0435, \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u043b 24th St Beans \u0438 \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Valencia Grind \u0437\u0430 $7,42. \u0417\u043d\u0430\u0447\u0438\u0442, CLI \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043a\u0430\u0437, \u043d\u043e \u0430\u0433\u0435\u043d\u0442 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0441\u0443\u043c\u043c\u0443 \u043f\u0435\u0440\u0435\u0434 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0434\u0435\u043d\u0435\u0433 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0442\u0430 \u0436\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u0445, \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435: \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0437\u0430\u043c\u0435\u0442\u043d\u0435\u0435 \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0444\u043b\u0430\u0433 <code>--max-total<\/code>, \u0447\u0442\u043e\u0431\u044b <code>order<\/code> \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u043b \u0437\u0430\u043a\u0430\u0437\u044b \u0441\u0432\u0435\u0440\u0445 \u0431\u044e\u0434\u0436\u0435\u0442\u0430. \u042d\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435 \u0432\u044b\u0432\u043e\u0434\u0430 \u00abOpus \u043d\u0430\u0431\u0440\u0430\u043b 85%\u00bb.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u044f\u0432\u0438\u043b \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0441\u0430\u043c\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439:<\/p>\n<ul>\n<li>\n<p>\u0412\u0441\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 0%. \u0410\u0433\u0435\u043d\u0442\u044b \u043d\u0435 \u0437\u043d\u0430\u043b\u0438 \u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0438 <code>sfbeans<\/code> \u0438 \u043d\u0435 \u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u0412 \u043e\u0446\u0435\u043d\u043a\u0435 \u043d\u0435 \u043f\u0440\u043e\u0448\u0451\u043b \u044d\u0442\u0430\u043f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044f. \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044e\u0442 \u043d\u0430\u0432\u044b\u043a, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f, MCP-\u0441\u0435\u0440\u0432\u0435\u0440 \u0438 AEO.<\/p>\n<\/li>\n<li>\n<p>Codex \u0438\u0441\u043a\u0430\u043b <code>sfbeans<\/code> \u043a\u0430\u043a \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0438 \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u0432 \u043e\u0431\u043e\u043b\u043e\u0447\u043a\u0435. \u042d\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0430 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<\/li>\n<li>\n<p>Codex \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b <code>impossible-request<\/code>, \u043d\u043e \u0442\u0440\u0430\u0441\u0441\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0432 9 \u0438\u0437 10 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0430\u0433\u0435\u043d\u0442 \u0441\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u0431\u0435\u0437 \u043f\u043e\u0438\u0441\u043a\u0430. Verifier \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0437\u0430\u043a\u0430\u0437\u0430; \u0435\u0433\u043e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043f\u043e\u0438\u0441\u043a\u0430. \u0411\u0435\u0437 \u0447\u0442\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u0441\u0441 \u0442\u0430\u043a\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0431\u044b \u0443\u0441\u043f\u0435\u0445\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0442\u0440\u0430\u0441\u0441<\/h3>\n<p>\u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445 \u0440\u0443\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0435\u0451. \u0414\u043e 40 \u0430\u0433\u0435\u043d\u0442\u043e\u0432-\u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439 \u0441 \u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <code>deepseek\/deepseek-v4.1-flash<\/code>, \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0447\u0438\u0442\u0430\u044e\u0442 \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438 \u043a\u0440\u0430\u0442\u043a\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043d\u0430\u0445\u043e\u0434\u043a\u0438. \u0411\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442-\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043e\u0440 \u0438\u0437\u0443\u0447\u0430\u0435\u0442 \u044d\u0442\u0438 \u0441\u0432\u043e\u0434\u043a\u0438, \u043f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u043f\u0438\u0448\u0435\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043e\u0442\u0447\u0451\u0442. \u0424\u0430\u0439\u043b <code>analysis.md<\/code> \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043e\u0440\u0443, \u0447\u0442\u043e \u0438\u0441\u043a\u0430\u0442\u044c, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445.<\/p>\n<p>\u0412\u044b\u0437\u043e\u0432\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 <a href=\"https:\/\/vercel.com\/docs\/ai-gateway\" rel=\"noopener nofollow\">AI Gateway<\/a>. \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 <a href=\"https:\/\/vercel.com\/docs\/sandbox\/concepts\/drives\" rel=\"noopener nofollow\">Vercel Drives<\/a>, \u0430 \u0442\u0440\u0430\u0441\u0441\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 <a href=\"https:\/\/vercel.com\/docs\/vercel-blob\" rel=\"noopener nofollow\">Vercel Blob<\/a> \u0434\u043b\u044f \u0434\u043e\u043b\u0433\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/59\/d8\/12\/59d8127b5cdb0de75cb300167325f6b6.png\" alt=\"\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0442\u0440\u0430\u0441\u0441\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/59\/d8\/12\/59d8127b5cdb0de75cb300167325f6b6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/59\/d8\/12\/59d8127b5cdb0de75cb300167325f6b6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0442\u0440\u0430\u0441\u0441<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044e \u043f\u043e\u0440\u0443\u0447\u0435\u043d\u0430 \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0438 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0435\u0451 \u0444\u0430\u0439\u043b\u043e\u0432. \u041a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043e\u0440 \u0447\u0438\u0442\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043a\u0438, \u043f\u0438\u0448\u0435\u0442 \u043e\u0442\u0447\u0451\u0442 \u0438 \u043f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f\u043c \u0437\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u044f\u043c\u0438. \u041e\u0442\u0447\u0451\u0442 \u0438 \u0437\u0430\u043c\u0435\u0442\u043a\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u0432 Blob; \u0432\u044b\u0437\u043e\u0432\u044b \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 AI Gateway.<\/p>\n<h3>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0439\u0442\u0435 \u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0439\u0442\u0435<\/h3>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u0434\u0430\u0451\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c. \u0412\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0442\u0440\u0430\u0441\u0441\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0444\u043b\u0430\u0433 <code>--max-total<\/code>, \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u0435 \u0442\u043e\u0442 \u0436\u0435 \u0437\u0430\u043f\u0443\u0441\u043a \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0441\u0442\u0430\u043b\u043e \u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u0438 \u043d\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u043b\u0438 \u043d\u043e\u0432\u044b\u0435. \u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0448\u0438\u0442\u0435, \u0433\u043e\u0442\u043e\u0432\u043e \u043b\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a \u0432\u044b\u043f\u0443\u0441\u043a\u0443.<\/p>\n<p>\u0413\u043e\u0442\u043e\u0432\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0440\u0435\u043b\u0438\u0437\u0435 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0439, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432, \u043d\u0430\u0432\u044b\u043a\u043e\u0432 \u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043e \u0432\u044b\u043f\u0443\u0441\u043a\u0430, \u0438\u0437\u0443\u0447\u0430\u0442\u044c, \u043a\u0430\u043a \u0430\u0433\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u043c, \u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0446\u0438\u043a\u043b\u044b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0421\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0439\u0442\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u041f\u043e \u043c\u0435\u0440\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u043e\u0446\u0435\u043d\u043a\u0430 \u043d\u0430\u0441\u044b\u0449\u0430\u0435\u0442\u0441\u044f: \u0430\u0433\u0435\u043d\u0442\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u0432\u0441\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u0422\u0430\u043a\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043d\u043e \u0443\u0436\u0435 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<p>\u041e\u0446\u0435\u043d\u043a\u0438 \u0434\u0430\u044e\u0442 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0434\u043b\u044f <a href=\"https:\/\/georgefa.com\/blog\/ax-is-the-new-dx\" rel=\"noopener nofollow\">\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430<\/a>. Vercel \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e <a href=\"https:\/\/vercel.com\/docs\/ai-gateway\" rel=\"noopener nofollow\">AI Gateway<\/a> \u0434\u043b\u044f \u0432\u044b\u0437\u043e\u0432\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a\u043e\u0432, <a href=\"https:\/\/vercel.com\/docs\/sandbox\" rel=\"noopener nofollow\">Sandbox<\/a> \u0434\u043b\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043f\u043e\u043f\u044b\u0442\u043e\u043a, \u0430 \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/vercel.com\/docs\/sandbox\/concepts\/drives\" rel=\"noopener nofollow\">Drives<\/a> \u0438 <a href=\"https:\/\/vercel.com\/docs\/vercel-blob\" rel=\"noopener nofollow\">Blob<\/a> \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u0441\u0441.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0432 Vercel, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0443 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u0440\u043e\u043c\u043f\u0442:<\/p>\n<pre><code>\u041f\u0440\u043e\u0447\u0438\u0442\u0430\u0439 https:\/\/vercel.com\/blog\/agent-evals \u0438 \u043f\u043e\u043c\u043e\u0433\u0438 \u043c\u043d\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 Harbor \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f \u043d\u0430 Vercel, \u0441\u043b\u0435\u0434\u0443\u044f \u043f\u044f\u0442\u0438 \u0448\u0430\u0433\u0430\u043c \u0441\u0442\u0430\u0442\u044c\u0438.\u0421\u0441\u044b\u043b\u043a\u0438:- Harbor: https:\/\/github.com\/harbor-framework\/harbor- \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 Harbor \u0432 Vercel Sandbox \u0438 AI Gateway: https:\/\/vercel.com\/kb\/guide\/run-terminal-bench-harbor-benchmarks-vercel-sandbox- AI Gateway \u0441 \u0430\u0433\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f Claude Code \/ Codex: https:\/\/vercel.com\/docs\/ai-gateway\/coding-agents\/claude-code, https:\/\/vercel.com\/docs\/ai-gateway\/coding-agents\/openai-codex- Firewall \u0438 \u043b\u0438\u043c\u0438\u0442\u044b Sandbox: https:\/\/vercel.com\/docs\/sandbox\/concepts\/firewall, https:\/\/vercel.com\/docs\/sandbox\/pricing1. \u0426\u0435\u043b\u044c: \u0438\u0437\u0443\u0447\u0438 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439, \u0441\u043f\u0440\u043e\u0441\u0438 \u043c\u0435\u043d\u044f, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0438 \u0442\u0438\u043f \u043e\u0448\u0438\u0431\u043a\u0438 \u0432\u0430\u0436\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438 \u043e\u0434\u043d\u0443 \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u0443\u044e \u0446\u0435\u043b\u044c.2. \u041c\u0435\u0442\u0440\u0438\u043a\u0438: \u0432\u044b\u0431\u0435\u0440\u0438 success rate, pass@k \u0438\u043b\u0438 pass^k \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u0439 \u0448\u0430\u0433\u0438, \u0432\u0440\u0435\u043c\u044f \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a.3. \u0417\u0430\u0434\u0430\u0447\u0438: \u043d\u0430\u043f\u0438\u0448\u0438 3\u20135 \u0437\u0430\u0434\u0430\u0447 Harbor \u0432 tasks\/, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043e\u0434\u0438\u043d \u043d\u0435\u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 (verifier \u0434\u043e\u043b\u0436\u0435\u043d \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043a\u0430\u043b \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0441\u0434\u0430\u0442\u044c\u0441\u044f). \u0423\u043a\u0430\u0436\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f, \u0435\u0441\u043b\u0438 \u043e\u043d\u043e \u0438\u043c\u0435\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430\u0441\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e. Verifier \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0432 \/logs\/verifier\/reward.json. \u0417\u0430\u0449\u0438\u0442\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043a\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043e\u0442 \u0437\u0430\u043f\u0438\u0441\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u043c \u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430.4. \u0417\u0430\u043f\u0443\u0441\u043a: \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0447\u0442\u043e-\u043b\u0438\u0431\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c, \u0441\u043f\u0440\u043e\u0441\u0438, \u043a\u0430\u043a\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0438 \u043f\u0440\u043e\u0435\u043a\u0442 Vercel \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u041d\u0430\u043f\u0438\u0448\u0438 job.yaml (\u0441\u0440\u0435\u0434\u0430 vercel \u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0445\u043e\u0447\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 AI Gateway). \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u043f\u0443\u0441\u0442\u0438 \u0434\u0435\u0448\u0451\u0432\u044b\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0434\u044b\u043c\u043e\u0432\u044b\u0435 \u0442\u0435\u0441\u0442\u044b: \u0438\u043c\u0435\u044e\u0449\u0438\u0435\u0441\u044f \u0437\u0430\u0432\u0435\u0434\u043e\u043c\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0437\u0430\u0442\u0435\u043c \u043e\u0434\u043d\u0443 \u043f\u043e\u043f\u044b\u0442\u043a\u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438 \u043f\u043e\u043b\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u043e\u043f\u044b\u0442\u043e\u043a, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0439 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u043f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0434\u044b\u043c\u043e\u0432\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0430 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0438 \u0434\u043e\u0436\u0434\u0438\u0441\u044c \u043c\u043e\u0435\u0433\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f.5. \u0410\u043d\u0430\u043b\u0438\u0437: \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0443, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0439 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0438 \u0447\u0430\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445, \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u043c\u0438, \u043e\u0442\u043c\u0435\u0442\u044c \u043b\u043e\u0436\u043d\u044b\u0435 \u0443\u0441\u043f\u0435\u0445\u0438 \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438 \u043e\u0434\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c.<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1108886\/\">https:\/\/habr.com\/ru\/articles\/1108886\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u00abAgents are users, so your software needs evals\u00bb.\u0422\u0430\u043a\u0436\u0435 \u044f \u0432\u0435\u0434\u0443 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c \u043a\u0430\u043d\u0430\u043b \u00abFrontend \u043f\u043e\u2011\u0444\u043b\u043e\u0442\u0441\u043a\u0438\u00bb, \u0433\u0434\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u043f\u0440\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0432\u0435\u0449\u0438 \u0438\u0437 \u043c\u0438\u0440\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432 \u0438 AI.\u0412\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435\u0410\u0433\u0435\u043d\u0442\u044b \u0443\u0436\u0435 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u043e\u0442 \u0438\u043c\u0435\u043d\u0438 \u043b\u044e\u0434\u0435\u0439. \u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0442\u043e\u0433\u043e, \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0435 \u043b\u0438 \u0432\u044b \u0441\u0430\u043c\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 \u0438\u043b\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u043d \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u0431\u0443\u0434\u044c \u0442\u043e API, CLI, MCP-\u0441\u0435\u0440\u0432\u0435\u0440 \u0438\u043b\u0438 SDK, \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430.\u0410\u0433\u0435\u043d\u0442\u044b, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0432\u0430\u0448\u0435 \u0432\u0438\u0434\u0435\u043e \u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0438 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0439 \u0449\u0438\u0442 \u043d\u0430 \u0448\u043e\u0441\u0441\u0435 101. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043e\u043d\u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0442\u0443 \u0436\u0435 \u0432\u043e\u0440\u043e\u043d\u043a\u0443, \u0447\u0442\u043e \u0438 \u043b\u044e\u0434\u0438: \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u0432\u044b\u0431\u043e\u0440, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.\u0412\u043e\u0440\u043e\u043d\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0430\u0433\u0435\u043d\u0442\u0430\u043c\u0438\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u044d\u0442\u0430\u043f\u0435 \u0432\u043e\u0440\u043e\u043d\u043a\u0438 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043b\u044e\u0434\u044c\u043c\u0438. \u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u044d\u0442\u0430\u043f\u044b \u043f\u043e\u044f\u0441\u043d\u044f\u044e\u0442\u0441\u044f \u0442\u0430\u043a: \u0430\u0433\u0435\u043d\u0442 \u0443\u0437\u043d\u0430\u0451\u0442 \u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0435\u0433\u043e, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043a \u043d\u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0443\u043f \u0438 \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.\u041e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0438\u0437 \u044d\u0442\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c: \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u043a\u0430\u0436\u0435\u0442\u0441\u044f. \u0410\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u00ab\u0443\u0441\u043f\u0435\u0448\u043d\u043e\u00bb \u0437\u0430\u043a\u0430\u0437\u0430\u0442\u044c \u0433\u043e\u0440\u044f\u0447\u0438\u0439 \u043b\u0430\u0442\u0442\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0438\u043b \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439. \u0417\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u043e\u0448\u0451\u043b, \u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u0442\u0432\u0435\u0442\u044b LLM \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043e\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u0438\u043d \u0443\u0434\u0430\u0447\u043d\u044b\u0439 \u0440\u0443\u0447\u043d\u043e\u0439 \u0442\u0435\u0441\u0442 \u043d\u0435 \u043f\u043e\u043a\u0430\u0436\u0435\u0442, \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043b\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u041d\u0443\u0436\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.\u041e\u0446\u0435\u043d\u043a\u0430 (eval) \u0438 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442: \u0435\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u0438 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0431\u0430\u043b\u043b\u044b \u0437\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.\u041f\u0438\u0440\u0430\u043c\u0438\u0434\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0415\u0441\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043b\u0438 \u044d\u0442\u043e?\u00bb, \u043e\u0446\u0435\u043d\u043a\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u00ab\u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e?\u00bb.\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u0435\u043b\u044f\u0442 \u0442\u0435\u0441\u0442\u044b \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043f\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 LLM: \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b (0), \u043e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 (1) \u0438 \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 (2 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0437\u0430 \u0432\u0441\u044e \u0437\u0430\u0434\u0430\u0447\u0443). \u042d\u0442\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0442\u0440\u0443\u0434\u043e\u0451\u043c\u043a\u043e\u0441\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f, \u0432\u0440\u0435\u043c\u044f \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430. \u041a\u0430\u043a \u0438 \u0432 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0434\u0435\u0448\u0451\u0432\u044b\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0442\u0435\u0441\u0442\u044b.\u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u0430 \u0438 \u043a \u0430\u0433\u0435\u043d\u0442\u0430\u043c: \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 LLM, \u0442\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0448\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0442\u0440\u0443\u0434\u0430 \u0438 \u0434\u0435\u043d\u0435\u0433. \u0412 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u0431\u0435\u0437 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0430\u0434 \u043d\u0438\u043c\u0438 \u043e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441 \u043e\u0434\u043d\u0438\u043c \u0432\u044b\u0437\u043e\u0432\u043e\u043c, \u0430 \u043d\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441 \u0434\u0432\u0443\u043c\u044f \u0438 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0437\u043e\u0432\u0430\u043c\u0438.\u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0443\u0440\u043e\u0432\u043d\u044f \u043d\u0430\u0447\u043d\u0438\u0442\u0435 \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0445\u043e\u0442\u0438\u0442\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c, \u0438 \u0432\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u0441\u0430\u043c\u044b\u0439 \u043d\u0438\u0437\u043a\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0439 \u0435\u0451 \u0432\u044b\u044f\u0432\u0438\u0442\u044c. \u0414\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043d\u0443\u0436\u0435\u043d \u0432\u0435\u0440\u0445\u043d\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c. \u041e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0435\u0440\u0432\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0430\u0433\u0435\u043d\u0442\u0430. \u0423\u0441\u043f\u0435\u0445 \u0436\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0441\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438: \u043f\u043e\u0438\u0441\u043a \u043a\u0430\u0444\u0435, \u043e\u0442\u0431\u043e\u0440 \u043f\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0437\u0430\u043a\u0430\u0437 \u043b\u0430\u0442\u0442\u0435. \u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u043c, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c.\u0421\u043a\u0432\u043e\u0437\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0430\u0433\u0435\u043d\u0442\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u0435, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0442\u043e\u0433 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 SWE-bench \u0438 Terminal-Bench, \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043a \u044d\u0442\u043e\u043c\u0443 \u0442\u0438\u043f\u0443.\u041f\u0440\u0438\u043c\u0435\u0440\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c SF Beans, API \u0434\u043b\u044f \u0437\u0430\u043a\u0430\u0437\u0430 \u043a\u043e\u0444\u0435 \u0432 \u0421\u0430\u043d-\u0424\u0440\u0430\u043d\u0446\u0438\u0441\u043a\u043e. \u0427\u0442\u043e\u0431\u044b \u0430\u0433\u0435\u043d\u0442\u044b \u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u043c, \u0432\u044b \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0435 CLI sfbeans. \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u043b\u0438\u0435\u043d\u0442\u0430:\u0417\u0430\u043a\u0430\u0436\u0438 \u043c\u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u043b\u0430\u0442\u0442\u0435 \u0441 \u0446\u0435\u043b\u044c\u043d\u044b\u043c \u043c\u043e\u043b\u043e\u043a\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u043a 9:00, \u0434\u0435\u0448\u0435\u0432\u043b\u0435 $8 \u0441 \u0447\u0430\u0435\u0432\u044b\u043c\u0438. \u042f \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 \u041c\u0438\u0448\u0435\u043d.\u0412 8:30 sfbeans \u0437\u043d\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:Fog City Roasters: \u0441\u043b\u043e\u043c\u0430\u043b\u0430\u0441\u044c \u043c\u0430\u0448\u0438\u043d\u0430 \u0434\u043b\u044f \u043b\u044c\u0434\u0430, \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0445 \u043d\u0430\u043f\u0438\u0442\u043a\u043e\u0432 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0435\u0442.24th St Beans: \u043b\u0430\u0442\u0442\u0435 \u0441\u0442\u043e\u0438\u0442 $7,50 \u043f\u043e \u043c\u0435\u043d\u044e, \u043d\u043e $9,27 \u0441 \u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0438 \u0447\u0430\u0435\u0432\u044b\u043c\u0438.Dolores Drip: \u043b\u0430\u0442\u0442\u0435 \u0441\u0442\u043e\u0438\u0442 $5,50, \u043d\u043e \u0440\u0430\u043d\u044c\u0448\u0435 9:20 \u0435\u0433\u043e \u043d\u0435 \u0437\u0430\u0431\u0440\u0430\u0442\u044c.Valencia Grind: $7,42 \u0441 \u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0438 \u0447\u0430\u0435\u0432\u044b\u043c\u0438, \u0433\u043e\u0442\u043e\u0432 \u043a 8:50. \u041f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f.\u0423\u0440\u043e\u0432\u0435\u043d\u044c\u041d\u0430 \u043a\u0430\u043a\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442\u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f sfbeans\u0414\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u0441\u0442\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a, \u043a\u0430\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f?sfbeans search &#8212;drink latte &#8212;area mission \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0444\u0435 \u0432 \u041c\u0438\u0448\u0435\u043d\u0435, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u043b\u0430\u0442\u0442\u0435; quote \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0430\u043b\u043e\u0433 \u0438 \u0447\u0430\u0435\u0432\u044b\u0435; order \u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443.\u041e\u0434\u043d\u043e\u0445\u043e\u0434\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430\u0410\u0433\u0435\u043d\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0438 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u044b?\u041d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043b\u0438 \u043e\u043d \u0441 sfbeans search &#8212;drink latte &#8212;area mission? \u0423\u0437\u043d\u0430\u0432 \u0446\u0435\u043d\u0443 $7,50 \u0432 24th St Beans, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043b\u0438 quote \u043f\u0435\u0440\u0435\u0434 \u0437\u0430\u043a\u0430\u0437\u043e\u043c? \u0423\u0437\u043d\u0430\u0432, \u0447\u0442\u043e \u0432 Fog City \u043d\u0435\u0442 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0445 \u043d\u0430\u043f\u0438\u0442\u043a\u043e\u0432, \u0438\u0449\u0435\u0442 \u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u043a\u0430\u0444\u0435?\u0421\u043a\u0432\u043e\u0437\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430\u0410\u0433\u0435\u043d\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443?\u0414\u0435\u043b\u0430\u0435\u0442 \u043b\u0438 \u043e\u043d \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u0438\u043d \u0437\u0430\u043a\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0430\u0442\u0442\u0435 \u0441 \u0446\u0435\u043b\u044c\u043d\u044b\u043c \u043c\u043e\u043b\u043e\u043a\u043e\u043c, \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043a 9:00 \u0438 \u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435 $8 \u0441 \u0447\u0430\u0435\u0432\u044b\u043c\u0438?\u041a\u0430\u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u043a\u043e\u0444\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c Harbor, \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u043e\u0442 \u0441\u043e\u0437\u0434\u0430\u0442\u0435\u043b\u0435\u0439 Terminal-Bench. \u041e\u043d \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430\u0445, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0438\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f.\u0422\u0435\u0440\u043c\u0438\u043d\u044b:\u0417\u0430\u0434\u0430\u0447\u0430 (task): \u043e\u0434\u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430, \u0441 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u043e\u0439 \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430.\u0412\u0430\u0440\u0438\u0430\u043d\u0442 (variant): \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u043e\u043c\u043f\u0442, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u043d\u0430\u0432\u044b\u043a\u0438.\u041f\u043e\u043f\u044b\u0442\u043a\u0430 (trial): \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0440\u0435\u0448\u0438\u0442\u044c \u043e\u0434\u043d\u0443 \u0437\u0430\u0434\u0430\u0447\u0443.\u0417\u0430\u043f\u0443\u0441\u043a (run, \u0432 Harbor job): \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0440\u0435\u0448\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443.\u0422\u0440\u0430\u0441\u0441\u0430 (trace, \u0432 Harbor trajectory): \u0432\u0441\u0451, \u0447\u0442\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u043f\u044b\u0442\u043a\u0438: \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0432\u044b\u0437\u043e\u0432\u044b \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043b\u043e\u0433\u0438, \u0444\u0430\u0439\u043b\u044b \u0438 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.\u0428\u0430\u0433 1. \u041f\u043e\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0446\u0435\u043b\u044c\u0421\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u043e. \u0412 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u043a 100% \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0414\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0436\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u043e\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0451, \u0447\u0442\u043e LLM \u043c\u043e\u0436\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u043c, \u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u044d\u0442\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u043e (\u0441\u043c. jagged frontier).\u041d\u0430\u0447\u043d\u0438\u0442\u0435 \u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u0437\u043a\u043e\u0433\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438. \u0426\u0435\u043b\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0442\u0440\u0451\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u0445:\u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u044c: \u043a\u0430\u043a\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u043c \u0438 \u0433\u0434\u0435 \u043e\u043d\u0438 \u043e\u0448\u0438\u0431\u0430\u044e\u0442\u0441\u044f.\u041a\u043b\u0438\u0435\u043d\u0442\u044b: \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443, \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u044c \u0438 \u043e\u0442\u0442\u043e\u043a.\u0414\u043e\u0440\u043e\u0436\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430: \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c.\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0434\u043e\u043b\u044e \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0448\u0430\u0433\u043e\u0432, \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u0443 \u043d\u0430\u0432\u044b\u043a\u0430 \u0430\u0433\u0435\u043d\u0442\u0430 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f, \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 A\/B-\u0442\u0435\u0441\u0442 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0438\u043b\u0438 \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c, \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043b\u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u043d\u044b\u043d\u0435\u0448\u043d\u0438\u043c LLM \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0438 \u0441 \u043d\u0438\u043c \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f.\u041f\u0440\u0438\u043c\u0435\u0440\u0414\u043b\u044f sfbeans \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0437\u0443\u0447\u0438\u043b\u0438 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u043e\u0442 Claude Code \u0438 Codex: CLI \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a user-agent, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0440\u0435\u0434\u0443 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0421\u0430\u043c\u043e\u0435 \u0447\u0430\u0441\u0442\u043e\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443: \u00ab\u043c\u043e\u0439 \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u043d\u0435 \u0442\u043e\u0442 \u043d\u0430\u043f\u0438\u0442\u043e\u043a\u00bb. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0433\u043e\u0440\u044f\u0447\u0438\u0439 \u043b\u0430\u0442\u0442\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0433\u043e, \u0437\u0430\u043a\u0430\u0437 \u043a \u0432\u044b\u0434\u0430\u0447\u0435 \u043f\u043e\u0441\u043b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u0438\u043b\u0438 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u043b\u043e\u0433\u0430 \u0438 \u0447\u0430\u0435\u0432\u044b\u0445. \u0412 \u0434\u043e\u0440\u043e\u0436\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u0441\u0440\u043e\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u043d\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u043e\u0432, \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0449\u0430\u044f \u043a \u043e\u0442\u0442\u043e\u043a\u0443, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442.\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0420\u0435\u0448\u0435\u043d\u0438\u0435\u0426\u0435\u043b\u044c\u041f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0434\u043e\u043b\u044e \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0410\u0433\u0435\u043d\u0442\u044bClaude Code \u0438 Codex, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u0442 \u043d\u0438\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0442\u0440\u0430\u0444\u0438\u043a\u0412\u0445\u043e\u0434\u0438\u0442 \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443\u041d\u0430\u043f\u0438\u0442\u043e\u043a, \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0434\u0430\u0447\u0438 \u0438 \u0431\u044e\u0434\u0436\u0435\u0442 \u0441 \u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0438 \u0447\u0430\u0435\u0432\u044b\u043c\u0438 \u043f\u0440\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 sfbeans\u041d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442\u041e\u0442\u043c\u0435\u043d\u0430, \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u044b \u0438 \u0430\u043a\u043a\u0430\u0443\u043d\u0442\u044b; \u0438\u0445 \u043e\u0446\u0435\u043d\u044f\u0442 \u043f\u043e\u0437\u0436\u0435\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f\u041e\u0431\u0430 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u0444\u043e\u0440\u043c\u043b\u044f\u044e\u0442 \u0437\u0430\u043a\u0430\u0437 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435\u0428\u0430\u0433 2. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438\u0414\u043b\u044f \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0445 \u043e\u0446\u0435\u043d\u043e\u043a \u0430\u0432\u0442\u043e\u0440\u044b \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0443\u0441\u043f\u0435\u0445\u0430:\u0414\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a (success rate).Pass@k: \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u043d\u0430 \u0438\u0437 k \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0443\u0441\u043f\u0435\u0448\u043d\u0430. \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443.Pass^k: \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 k \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0443\u0441\u043f\u0435\u0448\u043d\u044b. \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0430\u0433\u0435\u043d\u0442\u0430.\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a: \u0447\u0438\u0441\u043b\u043e \u0445\u043e\u0434\u043e\u0432 \u0430\u0433\u0435\u043d\u0442\u0430, \u0437\u0430\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u0430\u0445.\u041f\u0440\u0438\u043c\u0435\u0440\u0426\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043a\u0430\u0437 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0431\u044b\u043b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0430 \u0448\u0430\u0433\u0430\u0445 3 \u0438 4 \u043f\u044f\u0442\u044c \u043f\u043e\u043f\u044b\u0442\u043e\u043a Claude Code + Opus 5.5 (anthropic\/claude-opus-5.5 \u0432 AI Gateway) \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0442\u0430\u043a:\u041f\u043e\u043f\u044b\u0442\u043a\u0430\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e\u0428\u0430\u0433\u0438\u0412\u0440\u0435\u043c\u044f\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c1\u0423\u0441\u043f\u0435\u0445\u0421\u0440\u0430\u0432\u043d\u0438\u043b \u0446\u0435\u043d\u044b \u0432 3 \u043a\u0430\u0444\u0435, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Valencia93:40$0,522\u041f\u0440\u0435\u0432\u044b\u0448\u0435\u043d \u0431\u044e\u0434\u0436\u0435\u0442\u041f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b quote, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 24th St \u0437\u0430 $9,2751:50$0,313\u0423\u0441\u043f\u0435\u0445\u0421\u0440\u0430\u0432\u043d\u0438\u043b \u0446\u0435\u043d\u044b \u0432 4 \u043a\u0430\u0444\u0435, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Valencia114:30$0,684\u041e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u0417\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Dolores, \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u044c \u043a 9:2062:10$0,355\u0423\u0441\u043f\u0435\u0445\u041f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b Fog City, \u0437\u0430\u043a\u0430\u0437\u0430\u043b \u0432 Valencia83:20$0,49\u0422\u0440\u0438 \u0438\u0437 \u043f\u044f\u0442\u0438 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0443\u0441\u043f\u0435\u0448\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c success rate \u0440\u0430\u0432\u0435\u043d 60%. \u0415\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0430 \u0437\u0430 60%, pass@5 = 1 \u2212 0,4^5 \u2248 99%: \u0437\u0430 \u043f\u044f\u0442\u044c \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0445\u043e\u0442\u044f \u0431\u044b \u0440\u0430\u0437 \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u0441\u044f. Pass^5 = 0,6^5 \u2248 8%: \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u0444\u043e\u0440\u043c\u0438\u0442\u044c \u043f\u044f\u0442\u044c \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u043f\u043e\u0434\u0440\u044f\u0434.\u0412 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u0445 \u0431\u044b\u043b\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c (9 + 11 + 8) \/ 3 \u2248 9 \u0448\u0430\u0433\u043e\u0432 \u0438 \u043e\u043a\u043e\u043b\u043e 3:50 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043a\u043e\u0440\u043e\u0447\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0441\u0447\u0451\u0442 \u0446\u0435\u043d\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a. \u0418\u0445 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 $0,56, \u043d\u043e \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043e\u043f\u043b\u0430\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0435\u0443\u0434\u0430\u0447 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0441\u043f\u0435\u0445\u0430 \u0440\u0430\u0432\u043d\u0430 $2,35 \/ 3 = $0,78.\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0438 Opus? Pass@5 \u0432 99% \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0434\u0430. \u041d\u043e pass^5 \u0432 8% \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c, \u0437\u0430\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u0444\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u0443\u0434\u043d\u0438\u0439 \u0434\u0435\u043d\u044c, \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u0437\u0430\u043a\u0430\u0437 \u0432 92% \u043d\u0435\u0434\u0435\u043b\u044c. \u041e\u0431\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f \u0432\u0435\u0440\u043d\u044b: \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442, \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u043a\u0430\u0437, \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0434\u0435\u043b\u0430\u0435\u0442 \u043b\u0438 \u043e\u043d \u044d\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437.\u0412\u044b\u0431\u043e\u0440 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0446\u0435\u043d\u044b \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041f\u0440\u0438 \u0437\u0430\u043a\u0430\u0437\u0435 \u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043a\u043e\u0444\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043d\u0435\u0442: \u0437\u0430\u043a\u0430\u0437 \u0433\u043e\u0440\u044f\u0447\u0435\u0433\u043e \u043b\u0430\u0442\u0442\u0435 \u0438\u043b\u0438 \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0433\u043e\u0442\u043e\u0432 \u043f\u043e\u0441\u043b\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0435\u0437\u0434\u0430, \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0438\u0441\u043f\u043e\u0440\u0447\u0435\u043d\u043d\u043e\u0435 \u0443\u0442\u0440\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 sfbeans \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 pass^5.\u041f\u0440\u043e\u0434\u0443\u043a\u0442\u0426\u0435\u043d\u0430 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u0417\u0430\u043a\u0430\u0437 \u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043a\u043e\u0444\u0435\u041e\u043f\u043b\u0430\u0442\u0430 \u043d\u0435 \u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443, \u043f\u043e\u0442\u0435\u0440\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u044fPass^k\u0410\u0433\u0435\u043d\u0442 \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c; \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u043e\u0434 \u043f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0442\u0435\u0441\u0442\u043e\u0432 \u0438 \u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0441\u043d\u043e\u0432\u0430Pass@k\u0427\u0435\u0440\u043d\u043e\u0432\u0438\u043a \u043f\u0438\u0441\u044c\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439\u0414\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0445\u043e\u0432\u041e\u0431\u0449\u0438\u0435 \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u043c\u043e\u0433\u0443\u0442 \u0441\u043a\u0440\u044b\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u0447\u0430\u0441\u0442\u044b\u043c\u0438 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u0410 \u043f\u0440\u0438 \u043f\u044f\u0442\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u0445 100% \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u00ab\u043e\u0448\u0438\u0431\u043e\u043a \u043f\u043e\u043a\u0430 \u043d\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043e\u00bb, \u0430 \u043d\u0435 \u00ab\u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442\u00bb.\u0428\u0430\u0433 3. \u0421\u043e\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u043d\u0430\u0431\u043e\u0440 \u0437\u0430\u0434\u0430\u0447\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0446\u0435\u043b\u044c: \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0442\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c. \u041d\u043e \u0430\u0433\u0435\u043d\u0442\u0443 \u043d\u0443\u0436\u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0432\u0437\u044f\u0442\u0430\u044f \u0438\u0437 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.\u0412\u044b\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0435&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-503599","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/503599","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=503599"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/503599\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=503599"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=503599"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=503599"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}