{"id":474439,"date":"2025-09-10T09:00:27","date_gmt":"2025-09-10T09:00:27","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=474439"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=474439","title":{"rendered":"<span>\u041c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b: \u043a\u0430\u043a \u00ab\u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0418\u0418\u00bb \u0431\u0435\u0440\u0451\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0448\u0442\u0443\u0440\u043c\u043e\u043c<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435: \u043c\u0438\u0440, \u0433\u0434\u0435 \u043e\u0434\u043d\u043e\u043c\u0443 \u0418\u0418 \u0442\u0435\u0441\u043d\u043e<\/h3>\n<p>\u0421\u043e\u0444\u0442 \u0441\u0442\u0430\u043b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u043c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u043e\u043c: \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 API, CI\/CD, \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043a\u0430\u043a \u043a\u043e\u0434, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0447\u0430\u0441\u043e\u0432\u044b\u0445 \u043f\u043e\u044f\u0441\u0430\u0445. \u041e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e, \u0430 \u00ab\u043a\u0430\u0441\u043a\u0430\u0434\u0430\u043c\u0438\u00bb. \u041e\u0434\u0438\u043d \u0443\u043c\u043d\u044b\u0439 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a-\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b (\u0434\u0430\u0436\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439) \u0447\u0430\u0441\u0442\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u044b: \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u0445\u0440\u0443\u043f\u043a\u043e, \u0434\u043e\u0440\u043e\u0433\u043e. \u041a\u0430\u043a \u0438 \u0432 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u0445, \u043d\u0443\u0436\u043d\u0430 <strong>\u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0440\u043e\u043b\u0435\u0439<\/strong> \u2014 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435, \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430, \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f. \u042d\u0442\u0443 \u0438\u0434\u0435\u044e \u0438 \u0432\u043e\u043f\u043b\u043e\u0449\u0430\u044e\u0442 <strong>\u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b (MAS)<\/strong>: \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f, \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0432\u043c\u0435\u0441\u0442\u0435 \u0440\u0435\u0448\u0430\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438, \u0433\u0434\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0418\u0418 \u0431\u0443\u043a\u0441\u0443\u0435\u0442. \u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043a\u043e\u0434\u0430 &#8212; <a href=\"https:\/\/github.com\/iRatG\/mas\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/iRatG\/mas<\/a>.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c\u0443 \u0418\u0418 \u0442\u044f\u0436\u0435\u043b\u043e<\/h3>\n<ul>\n<li>\n<p><strong>\u0420\u043e\u0441\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438.<\/strong> \u0417\u0430\u0434\u0430\u0447\u0438 \u0440\u0430\u0441\u043f\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0449\u0438\u043c\u0438 \u0446\u0435\u043b\u044f\u043c\u0438 (\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c). \u041e\u0434\u0438\u043d \u0430\u0433\u0435\u043d\u0442 \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u043b\u0438\u0448\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0441\u043f\u043e\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0442\u0432\u0435\u0442\u0430.<\/strong> \u0414\u0430\u0436\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0442\u043e\u043a\u0435\u043d-\u0431\u044e\u0434\u0436\u0435\u0442\u043e\u043c. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u00ab\u0434\u0443\u043c\u0430\u0442\u044c \u0434\u043e\u043b\u044c\u0448\u0435\u00bb (\u0434\u043b\u0438\u043d\u043d\u044b\u0435 chain-of-thought) \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c, \u0430 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0439 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/strong> \u0412\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 (\u043a\u043e\u0434, \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430) \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 <strong>\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438<\/strong> \u2014 \u0442\u0435\u0441\u0442\u043e\u0432, \u043f\u0440\u0443\u0432\u0435\u0440\u043e\u0432, \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432. \u0411\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u00ab\u0441\u0443\u0434\u044c\u0438\u00bb \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0441\u043a\u043b\u043e\u043d\u0435\u043d \u043a \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c, \u043d\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 (MAS)<\/h3>\n<p>MAS \u2014 \u044d\u0442\u043e \u043d\u0430\u0431\u043e\u0440 <strong>\u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/strong> \u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u0446\u0435\u043b\u044f\u043c\u0438, \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u043c\u0438. \u041e\u043d\u0438 \u043e\u0431\u043c\u0435\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c\u0438, \u0434\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435: \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0434\u0440\u043e\u0431\u0438\u0442 \u0437\u0430\u0434\u0430\u0447\u0443, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043f\u0438\u0448\u0435\u0442 \u043f\u0430\u0442\u0447, \u043a\u0440\u0438\u0442\u0438\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u0430 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0442\u0435\u0441\u0442\u044b. <strong>\u041a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u044f<\/strong> \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u044f\u0432\u043d\u043e\u0439 (\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f) \u0438\u043b\u0438 \u043e\u043f\u043e\u0441\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0430\u0440\u0431\u0438\u0442\u0440\u0430\u043c\u0438\/\u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440\u0430\u043c\u0438; <strong>\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u044f<\/strong> \u2014 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 (\u0431\u0430\u0440\u044c\u0435\u0440\u044b, \u0440\u0430\u0443\u043d\u0434\u044b) \u0438\u043b\u0438 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 (\u0433\u043e\u043d\u043a\u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0437, \u00ab\u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u043e\u0448\u0451\u043b \u2014 \u043c\u043e\u043b\u043e\u0434\u0435\u0446\u00bb).<\/p>\n<h3>\u0424\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442: \u043a\u0430\u043a LLM-\u0430\u0433\u0435\u043d\u0442\u044b \u00ab\u0434\u0443\u043c\u0430\u044e\u0442, \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0441\u0432\u0435\u0440\u044f\u044e\u0442\u0441\u044f\u00bb<\/h3>\n<p><strong>ReAct (Reason+Act)<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u0432\u044f\u0437\u043a\u0430 <em>\u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f<\/em> \u0438 <em>\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<\/em> (\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0441\u0440\u0435\u0434\u0430) \u0434\u0430\u0451\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f: \u0430\u0433\u0435\u043d\u0442 \u043c\u044b\u0441\u043b\u0438\u0442 \u0448\u0430\u0433\u0430\u043c\u0438, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0447\u0438\u0442\u0430\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043b\u0430\u043d [1].<br \/> <strong>Self-Consistency<\/strong> \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u00ab\u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0441\u0438\u0435\u00bb \u2014 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0438 \u0431\u0435\u0440\u0451\u043c \u043a\u043e\u043d\u0441\u0435\u043d\u0441\u0443\u0441. \u042d\u0442\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 [2].<br \/> <strong>\u041f\u0440\u043e\u0446\u0435\u0441\u0441-\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044f (PRM)<\/strong> \u0443\u0447\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u0438\/\u043a\u0440\u0438\u0442\u0438\u043a\u043e\u0432 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c <strong>\u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433<\/strong> \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u042d\u0442\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u00ab\u0432\u0435\u0440\u0438\u043c-\u043d\u0435 \u0432\u0435\u0440\u0438\u043c\u00bb \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u0443\u044e \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0443 \u0448\u0430\u0433\u043e\u0432 \u0438 \u0441\u0438\u043d\u0435\u0440\u0433\u0438\u0440\u0443\u0435\u0442 \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 [3].<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0440\u043e\u0436\u0434\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u044b\u0447\u0430\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 MAS \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e:<\/p>\n<ol>\n<li>\n<p><strong>\u0412\u0440\u0435\u043c\u044f \u043d\u0430 \u0432\u044b\u0432\u043e\u0434 (inference-time compute)<\/strong>: \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0431 \u0438 \u0432\u0435\u0442\u0432\u0435\u0439 \u2192 \u0432\u044b\u0448\u0435 \u0448\u0430\u043d\u0441, \u0447\u0442\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u043f\u0443\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 (\u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0443\u0436\u0435\u043d \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043e\u0442\u0431\u043e\u0440\u0449\u0438\u043a). 2) <strong>\u041c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043d\u0435\u043d\u0438\u0439<\/strong>: \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0435 \u0430\u0433\u0435\u043d\u0442\u044b\/\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0443\u0433\u043b\u0430\u043c\u0438, \u0430 \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440 \u00ab\u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u00bb \u043e\u0442\u0432\u0435\u0442 (Mixture\u2011of\u2011Agents) [5].<\/p>\n<\/li>\n<\/ol>\n<h3>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b: \u043e\u0442 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u043a \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u0430\u043c<\/h3>\n<h4>Mixture\u2011of\u2011Agents (MoA)<\/h4>\n<p>MoA \u2014 \u044d\u0442\u043e \u00ab\u0441\u043b\u043e\u0451\u043d\u0430\u044f\u00bb \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439\/\u0430\u0433\u0435\u043d\u0442\u043e\u0432: \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e <strong>proposer<\/strong>\u2011\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0432\u0435\u0440\u0441\u0438\u0438, \u0430 <strong>aggregator<\/strong> \u0441\u0438\u043d\u0442\u0435\u0437\u0438\u0440\u0443\u0435\u0442 \u0438\u0442\u043e\u0433. \u0412\u0430\u0436\u043d\u044b <strong>\u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435<\/strong> \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 <strong>\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440\u0430<\/strong> \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0430 \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0432\u0430\u0442\u044c \u0432\u0445\u043e\u0434\u044b. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 MoA \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (AlpacaEval, FLASK) \u0438 \u0434\u0430\u0436\u0435 \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0435 \u043e\u0442\u0432\u0435\u0442\u0430; \u043c\u0438\u043d\u0443\u0441 \u2014 \u0440\u043e\u0441\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 [5].<\/p>\n<h4>\u041f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0430\u0447\u0438 \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u0432\u043e\u0434\u0430<\/h4>\n<p>\u0420\u0430\u0431\u043e\u0442\u044b \u043f\u043e <strong>\u043c\u0430\u0441\u0441\u043e\u0432\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0443<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u00ab\u0437\u0430\u043a\u043e\u043d\u044b \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u00bb \u043d\u0430 \u0442\u0435\u0441\u0442\u2011\u0442\u0430\u0439\u043c\u0435: \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u0437\u0430\u0434\u0430\u0447 \u0440\u0430\u0441\u0442\u0451\u0442 \u043b\u043e\u0433\u2011\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0440\u043e\u0431 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 (\u044e\u043d\u0438\u0442\u2011\u0442\u0435\u0441\u0442\u044b, \u043f\u0440\u0443\u0432\u0435\u0440\u044b) [6,9]. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab<strong>compute\u2011optimal<\/strong> \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\u00bb: \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u0432\u0437\u044f\u0442\u044c <strong>\u043c\u0435\u043d\u044c\u0448\u0443\u044e<\/strong> \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0431\/\u043f\u043e\u0438\u0441\u043a\u0430, \u0438 \u043a\u0430\u043a\u0438\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438 (best\u2011of\u2011n, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043d\u0438\u0435, \u0434\u0435\u0440\u0435\u0432\u043e\u2011\u043f\u043e\u0438\u0441\u043a) \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u2014 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438 \u043d\u043e\u0432\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <strong>REBASE<\/strong>), \u0434\u0430\u044e\u0449\u0438\u0435 \u043b\u0443\u0447\u0448\u0443\u044e \u00ab\u0446\u0435\u043d\u0430\/\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u00bb \u043a\u0440\u0438\u0432\u0443\u044e [9].<\/p>\n<h4>\u0410\u0433\u0435\u043d\u0442 \u2194 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440: ACI [4] \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u044b<\/h4>\n<p>\u0412 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u2014 <strong>\u0441\u0432\u044f\u0437\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0441 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435\u043c<\/strong>. \u041f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u0430 <strong>Agent\u2011Computer Interface (ACI)<\/strong> \u0437\u0430\u0434\u0430\u0451\u0442 <strong>\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435<\/strong> (\u00ab\u043e\u0442\u043a\u0440\u043e\u0439 \u0444\u0430\u0439\u043b\u00bb, \u00ab\u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u0439 \u043f\u0430\u0442\u0447\u00bb, \u00ab\u0437\u0430\u043f\u0443\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u044b\u00bb, \u00ab\u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0439 \u043b\u043e\u0433\u00bb) \u0438 <strong>\u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c<\/strong> (\u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430, \u043b\u0438\u043d\u0442, \u0442\u0435\u0441\u0442\u2011\u0440\u0435\u043f\u043e\u0440\u0442\u044b). \u0422\u0430\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c, \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u043e\u0441\u0442\u044c \u00ab\u043d\u0430\u0432\u044b\u043a\u043e\u0432\u00bb \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0443\u0440\u043e\u0432\u043d\u044f SWE\u2011bench ACI\u2011\u043f\u043e\u0434\u0445\u043e\u0434 \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442\u0441\u044f \u0441 \u043c\u043d\u043e\u0433\u043e\u0440\u0430\u0443\u043d\u0434\u043e\u0432\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 \u0438 \u0434\u0430\u0451\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0442\u043e\u043d\u043a\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 <strong>edit<\/strong> \u0441 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u0434\u0438\u0444\u0444\u0430\u043c\u0438 + \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043b\u0438\u043d\u0442) [4].<\/p>\n<h4>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/h4>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u00ab\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u044b\u0435 \u0430\u0433\u0435\u043d\u0442\u044b\u00bb \u0432 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 Docker\u2011\u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0430\u0445, \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c <strong>AgentSkills<\/strong> \u0438 \u0434\u0435\u043b\u0435\u0433\u0430\u0446\u0438\u0435\u0439 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447) \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442, \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0432 \u041e\u0421\/IDE \u0438 \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u0448\u0438\u043d\u044b \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u043e\u043b\u0438\u0442\u0438\u043a [7].<\/p>\n<h4>\u041e\u0446\u0435\u043d\u043a\u0430 \u0438 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u043c\u043d\u0438<\/h4>\n<p>\u0421\u043e\u0444\u0442\u2011\u0430\u0433\u0435\u043d\u0442\u044b \u043b\u0435\u0433\u043a\u043e \u00ab\u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u00bb: \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f, \u00ab\u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0430 \u043f\u043e\u0434 \u0432\u0430\u043b\u0438\u0434\u0430\u0442\u043e\u0440\u00bb. \u0414\u043b\u044f \u0447\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 \u0432\u0430\u0436\u043d\u044b: \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0442\u0435\u0441\u0442\u044b, \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435\/\u0440\u0430\u043d\u0434\u043e\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u0430\u0442\u0447\u0430 end\u2011to\u2011end, \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b (\u0430 \u043d\u0435 \u00abLLM\u2011\u0441\u0443\u0434\u044c\u044f\u00bb) [8,10].<\/p>\n<h3>\u041a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u0438\u0437\u0435\u043c\u043b\u0438\u0442\u044c \u0432 \u00ab\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438\u00bb (\u0440\u0430\u0437\u0431\u043e\u0440 \u043a\u043e\u0434\u0430 \u0438 \u0440\u0435\u0436\u0438\u043c\u043e\u0432)<\/h3>\n<p>\u041d\u0438\u0436\u0435 \u2014 \u00ab\u044d\u043a\u0441\u043a\u0443\u0440\u0441\u0438\u044f\u00bb \u043f\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0438\u0434\u0435\u044f\u043c \u0438 \u0438\u0445 \u0432\u043e\u043f\u043b\u043e\u0449\u0435\u043d\u0438\u044e \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438. \u041c\u044b \u0431\u0435\u0440\u0451\u043c \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u044b \u0438\u0437 \u0442\u0435\u043e\u0440\u0438\u0438 (ReAct, self\u2011consistency, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044f, MoA, inference\u2011time compute) \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c, \u0433\u0434\u0435 \u043e\u043d\u0438 \u00ab\u0441\u0438\u0434\u044f\u0442\u00bb \u0432 \u043a\u043e\u0434\u0435.<\/p>\n<h4>\u041f\u043e\u0434\u0445\u043e\u0434 1: \u0421\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 (sync)<\/h4>\n<p><strong>\u0418\u0434\u0435\u044f.<\/strong> \u0427\u0438\u0441\u0442\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f ReAct [1]: \u043e\u0434\u0438\u043d \u0430\u0433\u0435\u043d\u0442 \u0432\u0435\u0434\u0451\u0442 \u0434\u0438\u0430\u043b\u043e\u0433 \u0441 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435\u043c\/\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u00ab\u0414\u0443\u043c\u0430\u044e \u2192 \u0414\u0435\u0439\u0441\u0442\u0432\u0443\u044e \u2192 \u041d\u0430\u0431\u043b\u044e\u0434\u0430\u044e \u2192 \u041a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u044e \u043f\u043b\u0430\u043d\u00bb. \u042d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f, \u043d\u043e \u043d\u0430\u0434\u0451\u0436\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0430 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u0438 \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u044f\u0432\u043d\u044b\u0439 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 (\u044e\u043d\u0438\u0442\u2011\u0442\u0435\u0441\u0442\u044b\/\u0447\u0435\u043a\u2011\u043b\u0438\u0441\u0442\u044b). \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u043a\u0440\u0438\u0442\u0438\u043a\u043e\u0439: \u00ab\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 PRM\u00bb \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438 [1][3].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> \u041e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 <code>sync<\/code> \u0438 CLI\u2011\u0442\u043e\u0447\u043a\u0430 <code>mas.cli.main --approach sync<\/code> \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u043a\u0435\u0439\u0441\u044b, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0440\u0435\u0442\u0440\u0430\u0438 \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (\u0432\u0440\u0435\u043c\u044f\/\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b\/\u0443\u0441\u043f\u0435\u0445\u0438). \u042d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0442 baseline, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u043e\u0440\u043e\u0448\u043e \u00ab\u043d\u0430\u0432\u0435\u0448\u0438\u0432\u0430\u0442\u044c\u00bb self\u2011consistency \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0438\u0435 [\u0441\u043c. \u043d\u0438\u0436\u0435].<\/p>\n<h4>\u041f\u043e\u0434\u0445\u043e\u0434 2: \u0410\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 (async, \u0447\u0435\u0440\u0435\u0437 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440)<\/h4>\n<p><strong>\u0418\u0434\u0435\u044f.<\/strong> \u0420\u043e\u043b\u0438 \u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f: <code>Analyst<\/code> \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, <code>Fixer<\/code> \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043f\u0430\u0442\u0447, <code>Controller<\/code> \u0441\u043b\u0435\u0434\u0438\u0442 \u0437\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u043e\u043c\/\u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430\u043c\u0438, <code>Coordinator<\/code> \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0442\u043e\u0433. \u042d\u0442\u043e \u00ab\u0442\u043e\u043d\u043a\u0438\u0439 MoA\u00bb [5]: \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443, \u0430 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0440\u0435\u0448\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0438 \u0447\u0442\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c (\u0434\u0438\u0432\u0435\u0440\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437), \u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0446\u0435\u043d\u0443\/\u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u2014 \u0437\u043d\u0430\u0447\u0438\u0442, \u0432\u0430\u0436\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u0438 \u0447\u0438\u0441\u043b\u043e\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 [5][6].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> <code>mas.cli.main --approach async<\/code> \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0448\u0438\u043d\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u044b, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c). \u0420\u043e\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b\/\u0445\u044d\u043d\u0434\u043b\u0435\u0440\u044b, \u0447\u0442\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 (\u043b\u0435\u0433\u043a\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u00abBrowser\u00bb \u0438\u043b\u0438 \u00abDoc\u2011search\u00bb).<\/p>\n<h4>\u041f\u043e\u0434\u0445\u043e\u0434 3: \u0418\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439\/\u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0439<\/h4>\n<p><strong>\u0418\u0434\u0435\u044f.<\/strong> \u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430 \u0441\u0447\u0451\u0442 <strong>\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u0432\u043e\u0434\u0430<\/strong>: \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a (\u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\/\u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043e\u043a), \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u00ab\u043b\u0443\u0447\u0448\u0435\u0435 \u0438\u0437 N\u00bb \u043f\u043e \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0443, \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u043c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0440\u0430\u0437\u0431\u043e\u0440\u043e\u0432 (\u0447\u0442\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u0438 \u043f\u043e\u0447\u0435\u043c\u0443), \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438. \u042d\u0442\u043e \u043f\u0440\u044f\u043c\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e repeated sampling\/compute\u2011optimal \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0443 [6]: \u0438\u043d\u043e\u0433\u0434\u0430 \u00ab\u043c\u0435\u043d\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c + \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043f\u044b\u0442\u043e\u043a\u00bb \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u00ab\u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c + \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u00bb [6].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> <code>mas.cli.iterative<\/code> \u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044e, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0431\u0430\u0442\u0447\u0438 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043e\u0442\u0431\u043e\u0440\u0430 (\u044e\u043d\u0438\u0442\u2011\u0442\u0435\u0441\u0442\u044b\/\u0447\u0435\u043a\u2011\u043b\u0438\u0441\u0442\u044b), \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0432\u043e\u0434\u0438\u0442 \u0441\u0432\u043e\u0434\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u042d\u0442\u043e\u0442 \u0440\u0435\u0436\u0438\u043c \u043b\u0435\u0433\u043a\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 sync\/async: \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0438 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u0438 \u0432 \u043c\u043d\u043e\u0433\u043e\u0440\u043e\u043b\u0435\u0432\u043e\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439.<\/p>\n<hr\/>\n<h3>\u0414\u0432\u0430 \u0440\u0435\u0436\u0438\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b LLM: \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 API<\/h3>\n<h4>A) \u0418\u043c\u0438\u0442\u0430\u0446\u0438\u044f LLM (\u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438)<\/h4>\n<p><strong>\u0417\u0430\u0447\u0435\u043c.<\/strong> \u0421\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430 \u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432; \u0431\u044b\u0441\u0442\u0440\u043e \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u044e. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f <strong>\u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/strong>: \u043c\u044b \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0441\u0438\u0434\u044b\/\u043a\u0435\u0439\u0441\u044b \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0434\u0440\u0435\u0439\u0444 \u043c\u043e\u0434\u0435\u043b\u0438.<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> \u041c\u043e\u0434\u0443\u043b\u044c <code>mas.llm.mock_client<\/code> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u043b\u044f \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043a\u0435\u0439\u0441\u043e\u0432 (\u00ab\u0432\u044b\u0445\u043e\u0434 \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u044b\u00bb, \u00ab\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u043e\u043b\u044c\u00bb \u0438 \u0442. \u043f.), \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432 \u00ab\u0447\u0438\u0441\u0442\u043e\u043c\u00bb \u0432\u0438\u0434\u0435 \u0438 \u0432\u0438\u0434\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439\/\u0448\u0430\u0433\u043e\u0432\/\u0440\u0435\u0442\u0440\u0430\u0435\u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u043e\u0434\u0445\u043e\u0434\u0443.<\/p>\n<h4>\u0411) \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 LLM \u0447\u0435\u0440\u0435\u0437 API (OpenAI \u0438 \u0434\u0440.)<\/h4>\n<p><strong>\u0417\u0430\u0447\u0435\u043c.<\/strong> \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u00ab\u0432 \u043f\u043e\u043b\u0435\u00bb: \u043f\u0440\u043e\u043c\u043f\u0442\u2011\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433, \u0448\u0443\u043c\u043d\u044b\u0435 \u043b\u043e\u0433\u0438, \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0430\u0445, \u043b\u0438\u043c\u0438\u0442\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u043b\u044c <strong>ACI<\/strong>: \u0447\u0435\u043c \u0447\u0438\u0449\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u0435\u0435 \u043e\u0442\u043a\u043b\u0438\u043a (\u043b\u0438\u043d\u0442, \u0434\u0438\u0444\u0444, \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0430), \u0442\u0435\u043c \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435 \u043f\u0435\u0442\u043b\u044f ReAct [4].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> <code>mas.llm.real_llm<\/code> (\u0441\u043c. <code>env_example.txt<\/code> \u0438 <code>docs\/SETUP_OPENAI.md<\/code>) \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442 API, \u0443\u0432\u0430\u0436\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c\/\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0438 \u043f\u0440\u043e\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0437\u043e\u0432\u044b \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0449\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441. CLI:<\/p>\n<pre><code class=\"bash\">python -X utf8 -m mas.cli.main --use-openai --openai-model gpt-4 --approach both --cases 1 2 3 <\/code><\/pre>\n<hr\/>\n<h3>\u041a\u0430\u043a \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043c\u043f\u0442 (\u0432 \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435)<\/h3>\n<p>\u0422\u043e\u0447\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u043e\u043b\u044f\u043c\u0438\/\u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438, \u043d\u043e \u043e\u0431\u0449\u0438\u0439 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a \u2014 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435:<\/p>\n<pre><code>[system] \u0412\u044b \u2014 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u2011\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0432 \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u043c\u0438 (ACI): READ_FILE, EDIT_PATCH, RUN_TESTS, ANALYZE_LOG. \u041f\u0440\u0430\u0432\u0438\u043b\u0430: \u0434\u0435\u043b\u0430\u0439\u0442\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438; \u043f\u043e\u044f\u0441\u043d\u044f\u0439\u0442\u0435 \u043f\u043b\u0430\u043d; \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0439\u0442\u0435 \u0444\u0430\u043a\u0442\u044b; \u0443\u0432\u0430\u0436\u0430\u0439\u0442\u0435 \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u044b\u0432\u043e\u0434\u0430.  [user] \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442: &lt;\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u0435\u0439\u0441\u0430 + \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u0434\u0430 + \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0435\/\u0442\u0435\u0441\u0442\u2011\u0444\u0435\u0439\u043b&gt; \u0426\u0435\u043b\u044c: \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0431\u0430\u0433 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0448\u043b\u0438 \u0442\u0435\u0441\u0442\u044b. \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u0438\u0437\u043c\u0435\u043d\u044f\u0439\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b; \u043d\u0435 \u043c\u0435\u043d\u044f\u0439\u0442\u0435 API; \u0432\u0440\u0435\u043c\u044f \u2264 X \u0441\u0435\u043a; \u0431\u044e\u0434\u0436\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2264 Y.  [assistant] \u041f\u043b\u0430\u043d (\u0448\u0430\u0433\u0438): 1) \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443\/\u0444\u0443\u043d\u043a\u0446\u0438\u044e; 2) \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0443 \u043f\u0430\u0442\u0447; 3) \u0437\u0430\u043f\u0443\u0449\u0443 \u0442\u0435\u0441\u0442\u044b; \u0435\u0441\u043b\u0438 \u0443\u043f\u0430\u043b\u0438 \u2014 \u0443\u0442\u043e\u0447\u043d\u044e \u043f\u043b\u0430\u043d \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044e.  [assistant \u2192 tool] EDIT_PATCH &lt;&lt;&lt;&lt; unified\u2011diff @@ file.py:42\u201150 @@ - return a \/ b + if b == 0: +     return 0  # safe\u2011guard + return a \/ b &gt;&gt;&gt;&gt;  [tool \u2192 assistant] RUN_TESTS \u2192 FAIL (test_div_zero) LOG: Traceback ... ZeroDivisionError ...  [assistant] \u041e\u0431\u043d\u043e\u0432\u043b\u044f\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443: \u043d\u0443\u0436\u043d\u043e \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434, \u0430 \u043d\u0435 0. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u0430\u0442\u0447 v2\u2026 <\/code><\/pre>\n<p><strong>\u0422\u0435\u043e\u0440\u0438\u044f \u0440\u044f\u0434\u043e\u043c.<\/strong> \u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u043f\u0440\u044f\u043c\u043e \u00ab\u0432\u0448\u0438\u0432\u0430\u0435\u0442\u00bb ReAct (\u043f\u043b\u0430\u043d\u2192\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u2192\u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435), \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 <strong>\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044e [3]<\/strong> (\u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0439 \u0448\u0430\u0433\u0438\/\u0440\u0435\u0448\u0435\u043d\u0438\u044f), \u0438 \u0433\u043e\u0442\u043e\u0432 \u043a <strong>self\u2011consistency<\/strong>: \u043c\u043e\u0436\u043d\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043b\u0430\u043d\u043e\u0432 \u0438 \u0441\u0432\u0435\u0441\u0442\u0438 \u0438\u0445 \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440\u043e\u043c. \u0414\u043b\u044f async\u2011\u0440\u0435\u0436\u0438\u043c\u0430 \u0440\u043e\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0441\u0432\u043e\u0439 system\u2011\u0431\u043b\u043e\u043a (\u00ab\u0422\u044b \u2014 Analyst\u00bb, \u00ab\u0422\u044b \u2014 Fixer\u00bb) \u0438 \u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u2011\u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b.<\/p>\n<hr\/>\n<h3>\u041a\u0430\u043a \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u00ab\u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438\u00bb (\u043f\u0443\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445)<\/h3>\n<ol>\n<li>\n<p><strong>\u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043a\u0435\u0439\u0441\u0430<\/strong> (<code>evaluation\/test_cases<\/code>): \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a+\u0442\u0435\u0441\u0442\/\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0444\u0435\u0439\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/strong> (<code>sync<\/code> \u0438\u043b\u0438 <code>async<\/code>): \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u0440\u0430\u0441\u0441\u0430 \u0448\u0430\u0433\u043e\u0432 \u0438 \u0431\u044e\u0434\u0436\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e ACI<\/strong>: \u0447\u0442\u0435\u043d\u0438\u0435\/\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\/\u0437\u0430\u043f\u0443\u0441\u043a \u0442\u0435\u0441\u0442\u043e\u0432\/\u0430\u043d\u0430\u043b\u0438\u0437 \u043b\u043e\u0433\u043e\u0432 (\u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0430). \u0418\u043c\u0435\u043d\u043d\u043e \u0437\u0434\u0435\u0441\u044c \u00ab\u0447\u0438\u0441\u0442\u043e\u0442\u0430\u00bb \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u0430: \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u043f\u0430\u0442\u0447\u0438 \u0441 \u0434\u0438\u0444\u0444\u043e\u043c \u0438 \u044f\u0432\u043d\u0430\u044f \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u043d\u0438\u0436\u0430\u044e\u0442 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438 [4].<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f<\/strong> (<code>evaluation\/patching<\/code>, \u0442\u0435\u0441\u0442\u2011\u0440\u0430\u043d\u043d\u0435\u0440): \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043c\/\u043f\u0430\u0434\u0430\u0435\u043c \u2192 \u0434\u0430\u0451\u043c \u0430\u0433\u0435\u043d\u0442\u0443 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435; \u0434\u043b\u044f iter\u2011\u0440\u0435\u0436\u0438\u043c\u0430 \u2014 best\u2011of\u2011N \u043f\u043e \u0432\u0435\u0440\u0434\u0438\u043a\u0442\u043e\u0440\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430<\/strong> (<code>analytics\/results<\/code>): \u0432\u0440\u0435\u043c\u044f, \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0440\u0435\u0442\u0440\u0430\u0438, \u0443\u0441\u043f\u0435\u0445\u0438\/\u0444\u0435\u0439\u043b\u044b; \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 (<code>mas.cli.compare<\/code>). \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0438\u0434\u0435\u044f\u043c\u0438 <strong>compute\u2011optimal<\/strong> \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430: \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u043d\u043e \u0438 \u0446\u0435\u043d\u0443\/\u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c [6].<\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440\u044b (test_cases)<\/h3>\n<pre><code>        # \u041f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438         if case['id'] == 1:  # \u0412\u044b\u0445\u043e\u0434 \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u044b             result = env['calculate_sum']([1, 2, 3])             print(f\"\u274c \u041d\u0415\u041e\u0416\u0418\u0414\u0410\u041d\u041d\u041e: \u043a\u043e\u0434 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0441\u044f! \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: {result}\")                      elif case['id'] == 2:  # None \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435             result = env['process_data'](None)             print(f\"\u274c \u041d\u0415\u041e\u0416\u0418\u0414\u0410\u041d\u041d\u041e: \u043a\u043e\u0434 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0441\u044f! \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: {result}\")                      elif case['id'] == 3:  # \u0414\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u043e\u043b\u044c             result = env['divide'](10, 0)             print(f\"\u274c \u041d\u0415\u041e\u0416\u0418\u0414\u0410\u041d\u041d\u041e: \u043a\u043e\u0434 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0441\u044f! \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: {result}\")                      elif case['id'] == 4:  # \u041d\u0435\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0442\u0438\u043f\u043e\u0432             result = env['add_numbers']('hello', 5)             print(f\"\u274c \u041d\u0415\u041e\u0416\u0418\u0414\u0410\u041d\u041d\u041e: \u043a\u043e\u0434 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0441\u044f! \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: {result}\")                      elif case['id'] == 5:  # \u041d\u0435\u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f             env['count_down'](2)             print(\"\u274c \u041d\u0415\u041e\u0416\u0418\u0414\u0410\u041d\u041d\u041e: \u043a\u043e\u0434 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0441\u044f \u0431\u0435\u0437 \u043e\u0448\u0438\u0431\u043e\u043a!\")                  except Exception as e:         print(f\"\u2705 \u041e\u0428\u0418\u0411\u041a\u0410 \u041e\u0411\u041d\u0410\u0420\u0423\u0416\u0415\u041d\u0410: {type(e).__name__}: {e}\")         print(f\"   \u042d\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0434\u043e\u043b\u0436\u043d\u0430 \u0440\u0435\u0448\u0438\u0442\u044c MAS \u0441\u0438\u0441\u0442\u0435\u043c\u0430!\") <\/code><\/pre>\n<h3>\u0417\u0430\u043f\u0443\u0441\u043a\u0438<\/h3>\n<pre><code class=\"bash\"># \u0421\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439\/\u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d (\u0438\u043c\u0438\u0442\u0430\u0446\u0438\u044f LLM) python -X utf8 -m mas.cli.main --approach sync  --cases 1 2 3 python -X utf8 -m mas.cli.main --approach async --cases 1 2 3  # \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 LLM \u0447\u0435\u0440\u0435\u0437 API python -X utf8 -m mas.cli.main --use-openai --openai-model gpt-4 --approach both --cases 1 2 3  # \u041f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0439 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c (\u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u043e\u0442\u0431\u043e\u0440 \u00ab\u043b\u0443\u0447\u0448\u0435\u0435 \u0438\u0437 N\u00bb) python -X utf8 -m mas.cli.iterative  # \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438 \u0441\u0432\u043e\u0434\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 python -X utf8 -m mas.cli.compare <\/code><\/pre>\n<hr\/>\n<h3>\u00ab\u0421\u043a\u0440\u0438\u043d\u0448\u043e\u0442\u044b\u00bb \u0432\u044b\u0432\u043e\u0434\u0430<\/h3>\n<p><strong>SYNC, \u043a\u0435\u0439\u0441 1<\/strong><\/p>\n<pre><code>\u0417\u0430\u043f\u0443\u0441\u043a \u0421\u0418\u041d\u0425\u0420\u041e\u041d\u041d\u041e\u0413\u041e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 (seed=42) -------------------------------------------------- --- SYNC \u043a\u0435\u0439\u0441 1: \u0412\u044b\u0445\u043e\u0434 \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043c\u0430\u0441\u0441\u0438\u0432\u0430 --- \u2705 \u0421\u0442\u0430\u0442\u0443\u0441: success    \u0412\u0440\u0435\u043c\u044f: 0.003 \u0441\u0435\u043a    \u041a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432: 2    \u0420\u0435\u0442\u0440\u0430\u0435\u0432: 0 <\/code><\/pre>\n<p><strong>ASYNC, \u043a\u0435\u0439\u0441 1 + \u0441\u0432\u043e\u0434\u043a\u0430<\/strong><\/p>\n<pre><code>\u0417\u0430\u043f\u0443\u0441\u043a \u0410\u0421\u0418\u041d\u0425\u0420\u041e\u041d\u041d\u041e\u0413\u041e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432 \u041f\u041e\u0421\u041b\u0415\u0414\u041e\u0412\u0410\u0422\u0415\u041b\u042c\u041d\u041e\u041c \u0440\u0435\u0436\u0438\u043c\u0435 (seed=42) -------------------------------------------------- --- ASYNC \u043a\u0435\u0439\u0441 1: \u0412\u044b\u0445\u043e\u0434 \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043c\u0430\u0441\u0441\u0438\u0432\u0430 --- \u2705 \u0421\u0442\u0430\u0442\u0443\u0441: success    \u0412\u0440\u0435\u043c\u044f: 0.005 \u0441\u0435\u043a    \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439: 3\/3    \u0422\u0430\u0439\u043c\u0430\u0443\u0442\u044b: 0  ================================================================================ \u0421\u0412\u041e\u0414\u041d\u042b\u0419 \u041e\u0422\u0427\u0401\u0422 \u041f\u041e \u0410\u041d\u0410\u041b\u0418\u0417\u0423 \u041f\u041e\u0414\u0425\u041e\u0414\u041e\u0412 ================================================================================ \u041e\u0431\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f: 2.156 \u0441\u0435\u043a \u0412\u0441\u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u043a\u0435\u0439\u0441\u043e\u0432: 10  \u0421\u0418\u041d\u0425\u0420\u041e\u041d\u041d\u042b\u0419 \u041f\u041e\u0414\u0425\u041e\u0414:   \u2022 \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u043a\u0435\u0439\u0441\u043e\u0432: 5   \u2022 \u0423\u0441\u043f\u0435\u0448\u043d\u044b\u0445: 5, \u041d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0445: 0   \u2022 \u041f\u0440\u043e\u0446\u0435\u043d\u0442 \u0443\u0441\u043f\u0435\u0445\u0430: 100%   \u2022 \u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f: 0.004 \u0441\u0435\u043a   \u2022 \u0412\u0441\u0435\u0433\u043e \u0440\u0435\u0442\u0440\u0430\u0435\u0432: 0   \u2022 \u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043d\u0430 \u043a\u0435\u0439\u0441: 2.0  \u0410\u0421\u0418\u041d\u0425\u0420\u041e\u041d\u041d\u042b\u0419 \u041f\u041e\u0414\u0425\u041e\u0414:   \u2022 \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u043a\u0435\u0439\u0441\u043e\u0432: 5   \u2022 \u0423\u0441\u043f\u0435\u0448\u043d\u044b\u0445: 5, \u041d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0445: 0, \u0422\u0430\u0439\u043c\u0430\u0443\u0442\u043e\u0432: 0   \u2022 \u041f\u0440\u043e\u0446\u0435\u043d\u0442 \u0443\u0441\u043f\u0435\u0445\u0430: 100%   \u2022 \u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f: 0.008 \u0441\u0435\u043a   \u2022 \u0412\u0441\u0435\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439: 15   \u2022 \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439: 1.0 \u26a1 \u0421\u0420\u0410\u0412\u041d\u0415\u041d\u0418\u0415:   \u2022 \u0411\u044b\u0441\u0442\u0440\u0435\u0435: sync \u043f\u043e\u0434\u0445\u043e\u0434   \u2022 \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438: 0.004 \u0441\u0435\u043a   \u2022 \u0411\u043e\u043b\u044c\u0448\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445: equal   \u2022 \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438: 0 \u043a\u0435\u0439\u0441\u043e\u0432 ================================================================================ <\/code><\/pre>\n<h3>\u041c\u0435\u043b\u044c\u0447\u0430\u0439\u0448\u0438\u0439 ACI\u2011\u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442<\/h3>\n<blockquote>\n<p>\u0418\u0434\u0435\u044f \u2014 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, <strong>\u043a\u0430\u043a<\/strong> \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u044c; \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0439\/\u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043c\u043e\u0433\u0443\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/p>\n<\/blockquote>\n<pre><code class=\"python\">class ACI:     def read_file(self, path: str) -&gt; str:      # READ_FILE         return fs.read_text(path)      def edit_patch(self, diff: str) -&gt; None:    # EDIT_PATCH (unified diff)         apply_unidiff(diff)      def run_tests(self) -&gt; TestReport:          # RUN_TESTS         return run_pytests_capture()  # \u041f\u0440\u0438\u043c\u0435\u0440 \u0448\u0430\u0433\u0430 \u0430\u0433\u0435\u043d\u0442\u0430 (sync\/async \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e) obs = ACI().read_file(\"src\/module.py\") plan = agent.think(obs)                         # ReAct [1] ACI().edit_patch(plan.to_unidiff()) report = ACI().run_tests() if not report.ok:     critique = critic.judge(report)             # \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044f [3]     plan = agent.revise(plan, critique) <\/code><\/pre>\n<hr\/>\n<h2>Async-\u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c LLM (\u0438\u0434\u0435\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434)<\/h2>\n<pre><code class=\"python\"># === \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b === class LLM:     def ask(role, messages) -&gt; str: ...  # \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 API: chat(messages) \u2192 \u0442\u0435\u043a\u0441\u0442\/JSON  class ACI:     def read(path) -&gt; str: ...     def patch(unified_diff) -&gt; None: ...     def test() -&gt; Report: ...  # pass\/fail, logs  # === \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438 \u0440\u043e\u043b\u0438 === def bus_emit(topic, payload): ... def fork_variant(payload): ...  # \u043c\u0435\u043d\u044f\u0435\u043c \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0443\/\u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u2192 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0442\u043a\u0430  def start(case):     bus_emit(\"plan\", case)  def Analyst_on_plan(case):     out = LLM.ask(\"Analyst\", prompt(role=\"Analyst\", ctx=case))   # ReAct [1]     bus_emit(\"propose_patch\", out)  def Fixer_on_propose_patch(plan):     diff = LLM.ask(\"Fixer\", prompt(role=\"Fixer\", ctx=plan))      # \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 unified diff     ACI.patch(diff)     report = ACI.test()     bus_emit(\"report_ready\", {\"report\": report, \"diff\": diff})  def Controller_on_report_ready(payload):     if payload[\"report\"].pass:         bus_emit(\"done\", payload)     elif budget.has_room():         bus_emit(\"retry\", fork_variant(payload))                  # repeated sampling [6]     else:         bus_emit(\"fail\", payload)  def Coordinator_on_retry(payload):     bus_emit(\"propose_patch\", payload)                            # \u0432\u0435\u0442\u043a\u0430 \u0438\u0434\u0451\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e (mini-MoA [5])  def Coordinator_on_done_or_fail(payload):     persist(payload)                                              # \u043b\u043e\u0433\u0438\u0440\u0443\u0435\u043c, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c best-of-N \u043f\u043e \u0442\u0435\u0441\u0442\u0430\u043c <\/code><\/pre>\n<p>\u041c\u0438\u043d\u0438-\u0448\u0430\u0431\u043b\u043e\u043d \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 LLM:<\/p>\n<pre><code>[system] \u0422\u044b \u2014 &lt;ROLE&gt; \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435. \u0414\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0448\u044c \u0447\u0435\u0440\u0435\u0437 ACI: READ_FILE, EDIT_PATCH, RUN_TESTS. [user] \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043a\u0435\u0439\u0441\u0430 + \u0446\u0435\u043b\u044c (\u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0431\u0430\u0433 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0448\u043b\u0438 \u0442\u0435\u0441\u0442\u044b). [assistant] \u0412\u0435\u0440\u043d\u0438: PLAN \u0438 ACTION \u0432 JSON (\u0435\u0441\u043b\u0438 Fixer \u2014 unified diff). <\/code><\/pre>\n<p><strong>\u0418\u0434\u0435\u044f \u0432 \u0442\u0440\u0451\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445:<\/strong><br \/> Analyst \u0434\u0430\u0451\u0442 <strong>\u043f\u043b\u0430\u043d\/\u043b\u043e\u043a\u0430\u0446\u0438\u044e<\/strong> \u2192 Fixer \u0434\u0435\u043b\u0430\u0435\u0442 <strong>\u043f\u0430\u0442\u0447 \u0438 \u0442\u0435\u0441\u0442<\/strong> \u0447\u0435\u0440\u0435\u0437 <strong>ACI<\/strong> \u2192 Controller \u0440\u0435\u0448\u0430\u0435\u0442 <strong>\u0433\u043e\u0442\u043e\u0432\u043e\/\u0432\u0435\u0442\u0432\u0438\u043c \u043f\u043e\u043f\u044b\u0442\u043a\u0438<\/strong>; Coordinator <strong>\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442<\/strong> \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 <strong>\u043b\u0443\u0447\u0448\u0435\u0435 \u043f\u043e \u0442\u0435\u0441\u0442\u0430\u043c<\/strong>. \u042d\u0442\u043e \u0441\u043a\u0440\u0435\u0449\u0438\u0432\u0430\u0435\u0442 ReAct, ACI, mini-MoA \u0438 repeated sampling \u2014  \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043a\u043e\u0434\u0430 &#8212; <a href=\"https:\/\/github.com\/iRatG\/mas\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/iRatG\/mas<\/a>.<\/p>\n<hr\/>\n<h3>\u0427\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u043e \u043f\u043e \u0438\u0434\u0435\u0435<\/h3>\n<ul>\n<li>\n<p><strong>ReAct \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u043e\u043b\u0435\u0439.<\/strong> \u041a\u0430\u0436\u0434\u0430\u044f \u0440\u043e\u043b\u044c \u0441\u0442\u0440\u043e\u0438\u0442 <em>\u043f\u043b\u0430\u043d \u2192 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 (ACI) \u2192 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u2192 \u0440\u0435\u0432\u0438\u0437\u0438\u044e<\/em>; \u044d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438 \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u0448\u0430\u0433\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u043c\u0438 (\u043c\u0438\u043a\u0440\u043e-\u043f\u0440\u043e\u0446\u0435\u0441\u0441-\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044f) \u2014 \u0440\u043e\u043b\u0435\u0432\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f ReAct [1][3].<\/p>\n<\/li>\n<li>\n<p><strong>\u042f\u0432\u043d\u044b\u0439 ACI.<\/strong> \u0422\u043e\u043b\u044c\u043a\u043e \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f: <code>read_file \/ apply_unidiff_patch \/ run_tests_capture<\/code>. \u042d\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u00ab\u0448\u0443\u043c CLI\u00bb, \u0434\u0435\u043b\u0430\u0435\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c \u043f\u043b\u043e\u0442\u043d\u043e\u0439 (\u043b\u0438\u043d\u0442\/\u043b\u043e\u0433\u0438\/\u0434\u0438\u0444\u0444) \u0438 \u0440\u0435\u0437\u043a\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u00ab\u043c\u0438\u043d\u0438-MoA\u00bb.<\/strong> \u041e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442 \u0432\u0435\u0442\u0432\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f: \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043b\u0430\u043d\u044b\/\u043f\u0430\u0442\u0447\u0438 (\u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b\/\u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438). \u0417\u0430\u0442\u0435\u043c <strong>Controller<\/strong> \u0434\u0435\u043b\u0430\u0435\u0442 best-of-N \u043f\u043e \u0432\u0435\u0440\u0434\u0438\u043a\u0442\u043e\u0440\u0443 (\u0442\u0435\u0441\u0442\u0430\u043c). \u042d\u0442\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442 <strong>MoA<\/strong> \u0438 <strong>repeated sampling<\/strong>: \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0438\u0432\u0435\u0440\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u0440\u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u0431\u044e\u0434\u0436\u0435\u0442\u0435 [5][6].<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u044e\u0434\u0436\u0435\u0442\u044b \u043a\u0430\u043a \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442.<\/strong> <code>Budget(tokens, time, attempts)<\/code> \u2014 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0447\u0451\u0442\u0447\u0438\u043a, \u0430 <em>\u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430<\/em> \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438\/\u043f\u043e\u0432\u0442\u043e\u0440\u0430. \u0414\u043b\u044f Habr-\u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f \u044d\u0442\u043e \u043a\u043b\u044e\u0447 \u043a \u00ab\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e\u0439 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u0435\u00bb: \u043c\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0446\u0435\u043d\u043e\u0439 \u0438 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u043e\u0439, \u0430 \u043d\u0435 \u0433\u043e\u043d\u0438\u043c\u0441\u044f \u0432\u0441\u043b\u0435\u043f\u0443\u044e \u0437\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445.<\/strong> <code>judge_step<\/code> (\u043c\u0438\u043a\u0440\u043e-PRM: \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c \u0431\u0440\u0435\u0434\u043e\u0432\u044b\u0435 \u0448\u0430\u0433\u0438) \u0438 <code>judge_final<\/code> (\u044e\u043d\u0438\u0442-\u0442\u0435\u0441\u0442\u044b). \u0422\u0430\u043c, \u0433\u0434\u0435 \u044e\u043d\u0438\u0442-\u0442\u0435\u0441\u0442\u044b \u00ab\u0434\u044b\u0440\u044f\u0432\u044b\u0435\u00bb, step-judger \u0441\u043f\u0430\u0441\u0430\u0435\u0442 \u043e\u0442 \u0442\u0443\u043f\u0438\u043a\u043e\u0432 \u0438 \u0431\u0435\u0448\u0435\u043d\u043e\u0433\u043e \u0440\u043e\u0441\u0442\u0430 \u043f\u043e\u043f\u044b\u0442\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u044c.<\/strong> <code>corr_id<\/code> \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438, <strong>persist_success\/failure<\/strong> \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0438 \u0434\u0438\u0444\u0444\u0430\u043c\u0438 \u2014 \u043f\u043e\u0437\u0436\u0435 \u044d\u0442\u043e \u043a\u043e\u0440\u043c \u0434\u043b\u044f \u043e\u0442\u0447\u0451\u0442\u043e\u0432 \u0438 \u00ab\u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u043f\u044b\u0442\u043e\u043a\u00bb (\u0432\u0430\u0448 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0439 \u0440\u0435\u0436\u0438\u043c).<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<h3>\u041c\u0438\u043d\u0438-\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 (\u0441\u043c\u044b\u0441\u043b)<\/h3>\n<pre><code>[system] \u0422\u044b \u2014 Fixer \u0432 \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435. \u0414\u0435\u0439\u0441\u0442\u0432\u0443\u0439 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u043e \u0447\u0435\u0440\u0435\u0437 ACI: READ_FILE, APPLY_UNIDIFF_PATCH, RUN_TESTS. [developer] \u041f\u043e\u043b\u0438\u0442\u0438\u043a\u0430: \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438, \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u0439 API, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0439 \u043c\u044b\u0441\u043b\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u043e. [user] \u0426\u0435\u043b\u044c: \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043f\u0430\u0434\u0435\u043d\u0438\u0435 test_div_zero \u0432 module.py. \u041b\u043e\u0433\u0438 \u0438 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u0434\u0430 \u043d\u0438\u0436\u0435. [assistant] \u041f\u043b\u0430\u043d: 1) \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u2192 2) \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 unified diff \u2192 3) \u0437\u0430\u043f\u0443\u0441\u043a \u0442\u0435\u0441\u0442\u043e\u0432 \u2192 4) \u0440\u0435\u0432\u0438\u0437\u0438\u044f \u043f\u0440\u0438 \u043f\u0440\u043e\u0432\u0430\u043b\u0435. # \u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: JSON \u0441 \u043f\u043e\u043b\u044f\u043c\u0438 {rationale, patch_unidiff} <\/code><\/pre>\n<hr\/>\n<p>\u041c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043d\u0430\u0431\u043e\u0440 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432, \u0430 <strong>\u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0438\u0434\u0435\u0439<\/strong>: ReAct \u0434\u0430\u0451\u0442 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438; self\u2011consistency \u0438 MoA \u2014 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437; \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044f \u2014 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432; ACI \u2014 \u043f\u043b\u043e\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u043e\u0439; \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u2014 \u00ab\u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430\u00bb \u0437\u0430 \u0441\u0447\u0451\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u0432\u043e\u0434\u0430. \u0412 \u0441\u0443\u043c\u043c\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430, \u0433\u0434\u0435 <strong>\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/strong>, \u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438 \u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435. \u041c\u044b \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043e\u0434 \u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u2014 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0443\u0432\u0438\u0434\u0438\u0442 \u0441\u0430\u043c \u0432 \u00ab\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438\u00bb.<\/p>\n<h3>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e<\/h3>\n<p>\u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u2014 \u043d\u0435 \u00ab\u043c\u043e\u0434\u0430\u00bb, \u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c: \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u0433\u0438\u043f\u043e\u0442\u0435\u0437, \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u043e\u043b\u0435\u0439, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u043e\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u0438 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u0437\u0430 \u0441\u0447\u0451\u0442 <strong>compute\u2011optimal<\/strong> \u0432\u044b\u0432\u043e\u0434\u0430. MAS \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u0438\u0434\u0435\u0438 LLM\u2011\u044d\u043f\u043e\u0445\u0438 \u2014 ReAct, self\u2011consistency, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044e [3], MoA, ACI \u2014 \u0432 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u0443 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u00ab\u043a\u043e\u043c\u0430\u043d\u0434 \u0418\u0418\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438. \u0411\u0443\u0434\u0443\u0449\u0435\u0435 \u0418\u0418\u2011\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043e\u0434\u0438\u043d \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043c\u043e\u0437\u0433, \u0430 <strong>\u043e\u0440\u043a\u0435\u0441\u0442\u0440 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432<\/strong> \u0441 \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u0434\u0438\u0440\u0438\u0436\u0451\u0440\u043e\u043c \u0438 \u0441\u0442\u0440\u043e\u0433\u0438\u043c \u043f\u0440\u0438\u0451\u043c\u0449\u0438\u043a\u043e\u043c.<\/p>\n<hr\/>\n<h4>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/h4>\n<p>[1] ReAct [1]: Synergizing Reasoning and Acting in Language Models (arXiv:2210.03629).<br \/> [2] Self\u2011Consistency Improves Chain\u2011of\u2011Thought Reasoning in Language Models (arXiv:2203.11171).<br \/> [3] Let\u2019s Verify Step by Step: Process Supervision via Stepwise Verifiers (PRM\/PRM800K) (arXiv:2305.20050).<br \/> [4] SWE\u2011agent: Agent\u2011Computer Interface \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 SWE\u2011bench (arXiv:2405.15793).<br \/> [5] Mixture\u2011of\u2011Agents Enhances LLM Capabilities (arXiv:2406.04692).<br \/> [6] Large Language Monkeys: Scaling Inference Compute with Repeated Sampling (arXiv:2407.21787).<br \/> [7] OpenHands: Real Computer Agents \u2014 \u0434\u0438\u0437\u0430\u0439\u043d, \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u044b, \u0434\u0435\u043b\u0435\u0433\u0430\u0446\u0438\u044f (arXiv:2407.16741).<br \/> [8] SpecRover: \u0440\u043e\u0431\u0430\u0441\u0442\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0438 \u043b\u043e\u0432\u0443\u0448\u043a\u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\u043d\u0433\u0430 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0439 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 (arXiv:2408.02232).<br \/> [9] Inference Scaling Laws: Compute\u2011Optimal Inference \u0434\u043b\u044f LLM\u2011\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 (ICLR\u201925) (arXiv:2408.00724).<br \/> [10] Agents that Matter: \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0447\u0435\u0441\u0442\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u0418\u0418\u2011\u0430\u0433\u0435\u043d\u0442\u043e\u0432 (\u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u044b, \u0440\u0438\u0441\u043a\u0438 LLM\u2011\u0441\u0443\u0434\u0435\u0439, \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0431\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c) (arXiv:2507.02825).<br \/> [11] \u041e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 SWE\u2011bench \u0438 Verified\u2011\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u2014 \u043f\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u043c [4], [7], [8].<br \/> [12] \u0421\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e ToT\/\u0434\u0435\u0431\u0430\u0442\u0430\u043c\/\u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u2014 \u0441\u043c. \u043e\u0431\u0437\u043e\u0440\u044b \u0432 [5], [6], [9].<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/945472\/\"> https:\/\/habr.com\/ru\/articles\/945472\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435: \u043c\u0438\u0440, \u0433\u0434\u0435 \u043e\u0434\u043d\u043e\u043c\u0443 \u0418\u0418 \u0442\u0435\u0441\u043d\u043e<\/h3>\n<p>\u0421\u043e\u0444\u0442 \u0441\u0442\u0430\u043b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u043c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043c\u043e\u043c: \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 API, CI\/CD, \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043a\u0430\u043a \u043a\u043e\u0434, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0447\u0430\u0441\u043e\u0432\u044b\u0445 \u043f\u043e\u044f\u0441\u0430\u0445. \u041e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e, \u0430 \u00ab\u043a\u0430\u0441\u043a\u0430\u0434\u0430\u043c\u0438\u00bb. \u041e\u0434\u0438\u043d \u0443\u043c\u043d\u044b\u0439 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a-\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b (\u0434\u0430\u0436\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439) \u0447\u0430\u0441\u0442\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u044b: \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u0445\u0440\u0443\u043f\u043a\u043e, \u0434\u043e\u0440\u043e\u0433\u043e. \u041a\u0430\u043a \u0438 \u0432 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u0445, \u043d\u0443\u0436\u043d\u0430 <strong>\u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0440\u043e\u043b\u0435\u0439<\/strong> \u2014 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435, \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430, \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f. \u042d\u0442\u0443 \u0438\u0434\u0435\u044e \u0438 \u0432\u043e\u043f\u043b\u043e\u0449\u0430\u044e\u0442 <strong>\u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b (MAS)<\/strong>: \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f, \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0432\u043c\u0435\u0441\u0442\u0435 \u0440\u0435\u0448\u0430\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438, \u0433\u0434\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0418\u0418 \u0431\u0443\u043a\u0441\u0443\u0435\u0442. \u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043a\u043e\u0434\u0430 &#8212; <a href=\"https:\/\/github.com\/iRatG\/mas\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/iRatG\/mas<\/a>.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c\u0443 \u0418\u0418 \u0442\u044f\u0436\u0435\u043b\u043e<\/h3>\n<ul>\n<li>\n<p><strong>\u0420\u043e\u0441\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438.<\/strong> \u0417\u0430\u0434\u0430\u0447\u0438 \u0440\u0430\u0441\u043f\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0449\u0438\u043c\u0438 \u0446\u0435\u043b\u044f\u043c\u0438 (\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c). \u041e\u0434\u0438\u043d \u0430\u0433\u0435\u043d\u0442 \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u043b\u0438\u0448\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0441\u043f\u043e\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0442\u0432\u0435\u0442\u0430.<\/strong> \u0414\u0430\u0436\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0442\u043e\u043a\u0435\u043d-\u0431\u044e\u0434\u0436\u0435\u0442\u043e\u043c. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u00ab\u0434\u0443\u043c\u0430\u0442\u044c \u0434\u043e\u043b\u044c\u0448\u0435\u00bb (\u0434\u043b\u0438\u043d\u043d\u044b\u0435 chain-of-thought) \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c, \u0430 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0439 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/strong> \u0412\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 (\u043a\u043e\u0434, \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430) \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 <strong>\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438<\/strong> \u2014 \u0442\u0435\u0441\u0442\u043e\u0432, \u043f\u0440\u0443\u0432\u0435\u0440\u043e\u0432, \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432. \u0411\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u00ab\u0441\u0443\u0434\u044c\u0438\u00bb \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0441\u043a\u043b\u043e\u043d\u0435\u043d \u043a \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c, \u043d\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 (MAS)<\/h3>\n<p>MAS \u2014 \u044d\u0442\u043e \u043d\u0430\u0431\u043e\u0440 <strong>\u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/strong> \u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u0446\u0435\u043b\u044f\u043c\u0438, \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u043c\u0438. \u041e\u043d\u0438 \u043e\u0431\u043c\u0435\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c\u0438, \u0434\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435: \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0434\u0440\u043e\u0431\u0438\u0442 \u0437\u0430\u0434\u0430\u0447\u0443, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043f\u0438\u0448\u0435\u0442 \u043f\u0430\u0442\u0447, \u043a\u0440\u0438\u0442\u0438\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u0430 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0442\u0435\u0441\u0442\u044b. <strong>\u041a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u044f<\/strong> \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u044f\u0432\u043d\u043e\u0439 (\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f) \u0438\u043b\u0438 \u043e\u043f\u043e\u0441\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0430\u0440\u0431\u0438\u0442\u0440\u0430\u043c\u0438\/\u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440\u0430\u043c\u0438; <strong>\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u044f<\/strong> \u2014 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 (\u0431\u0430\u0440\u044c\u0435\u0440\u044b, \u0440\u0430\u0443\u043d\u0434\u044b) \u0438\u043b\u0438 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 (\u0433\u043e\u043d\u043a\u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0437, \u00ab\u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u043e\u0448\u0451\u043b \u2014 \u043c\u043e\u043b\u043e\u0434\u0435\u0446\u00bb).<\/p>\n<h3>\u0424\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442: \u043a\u0430\u043a LLM-\u0430\u0433\u0435\u043d\u0442\u044b \u00ab\u0434\u0443\u043c\u0430\u044e\u0442, \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0441\u0432\u0435\u0440\u044f\u044e\u0442\u0441\u044f\u00bb<\/h3>\n<p><strong>ReAct (Reason+Act)<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u0432\u044f\u0437\u043a\u0430 <em>\u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f<\/em> \u0438 <em>\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<\/em> (\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0441\u0440\u0435\u0434\u0430) \u0434\u0430\u0451\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f: \u0430\u0433\u0435\u043d\u0442 \u043c\u044b\u0441\u043b\u0438\u0442 \u0448\u0430\u0433\u0430\u043c\u0438, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0447\u0438\u0442\u0430\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043b\u0430\u043d [1].<br \/> <strong>Self-Consistency<\/strong> \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u00ab\u043c\u043d\u043e\u0433\u043e\u0433\u043e\u043b\u043e\u0441\u0438\u0435\u00bb \u2014 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0438 \u0431\u0435\u0440\u0451\u043c \u043a\u043e\u043d\u0441\u0435\u043d\u0441\u0443\u0441. \u042d\u0442\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 [2].<br \/> <strong>\u041f\u0440\u043e\u0446\u0435\u0441\u0441-\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044f (PRM)<\/strong> \u0443\u0447\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u0438\/\u043a\u0440\u0438\u0442\u0438\u043a\u043e\u0432 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c <strong>\u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433<\/strong> \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u042d\u0442\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u00ab\u0432\u0435\u0440\u0438\u043c-\u043d\u0435 \u0432\u0435\u0440\u0438\u043c\u00bb \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u0443\u044e \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0443 \u0448\u0430\u0433\u043e\u0432 \u0438 \u0441\u0438\u043d\u0435\u0440\u0433\u0438\u0440\u0443\u0435\u0442 \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 [3].<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0440\u043e\u0436\u0434\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u044b\u0447\u0430\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 MAS \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e:<\/p>\n<ol>\n<li>\n<p><strong>\u0412\u0440\u0435\u043c\u044f \u043d\u0430 \u0432\u044b\u0432\u043e\u0434 (inference-time compute)<\/strong>: \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0431 \u0438 \u0432\u0435\u0442\u0432\u0435\u0439 \u2192 \u0432\u044b\u0448\u0435 \u0448\u0430\u043d\u0441, \u0447\u0442\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u043f\u0443\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 (\u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0443\u0436\u0435\u043d \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043e\u0442\u0431\u043e\u0440\u0449\u0438\u043a). 2) <strong>\u041c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043d\u0435\u043d\u0438\u0439<\/strong>: \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0435 \u0430\u0433\u0435\u043d\u0442\u044b\/\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0443\u0433\u043b\u0430\u043c\u0438, \u0430 \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440 \u00ab\u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u00bb \u043e\u0442\u0432\u0435\u0442 (Mixture\u2011of\u2011Agents) [5].<\/p>\n<\/li>\n<\/ol>\n<h3>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b: \u043e\u0442 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u043a \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u0430\u043c<\/h3>\n<h4>Mixture\u2011of\u2011Agents (MoA)<\/h4>\n<p>MoA \u2014 \u044d\u0442\u043e \u00ab\u0441\u043b\u043e\u0451\u043d\u0430\u044f\u00bb \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439\/\u0430\u0433\u0435\u043d\u0442\u043e\u0432: \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e <strong>proposer<\/strong>\u2011\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0432\u0435\u0440\u0441\u0438\u0438, \u0430 <strong>aggregator<\/strong> \u0441\u0438\u043d\u0442\u0435\u0437\u0438\u0440\u0443\u0435\u0442 \u0438\u0442\u043e\u0433. \u0412\u0430\u0436\u043d\u044b <strong>\u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435<\/strong> \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 <strong>\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440\u0430<\/strong> \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0430 \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0432\u0430\u0442\u044c \u0432\u0445\u043e\u0434\u044b. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 MoA \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (AlpacaEval, FLASK) \u0438 \u0434\u0430\u0436\u0435 \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0435 \u043e\u0442\u0432\u0435\u0442\u0430; \u043c\u0438\u043d\u0443\u0441 \u2014 \u0440\u043e\u0441\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 [5].<\/p>\n<h4>\u041f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0430\u0447\u0438 \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u0432\u043e\u0434\u0430<\/h4>\n<p>\u0420\u0430\u0431\u043e\u0442\u044b \u043f\u043e <strong>\u043c\u0430\u0441\u0441\u043e\u0432\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0443<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u00ab\u0437\u0430\u043a\u043e\u043d\u044b \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u00bb \u043d\u0430 \u0442\u0435\u0441\u0442\u2011\u0442\u0430\u0439\u043c\u0435: \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u0437\u0430\u0434\u0430\u0447 \u0440\u0430\u0441\u0442\u0451\u0442 \u043b\u043e\u0433\u2011\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0440\u043e\u0431 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 (\u044e\u043d\u0438\u0442\u2011\u0442\u0435\u0441\u0442\u044b, \u043f\u0440\u0443\u0432\u0435\u0440\u044b) [6,9]. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab<strong>compute\u2011optimal<\/strong> \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\u00bb: \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u0432\u0437\u044f\u0442\u044c <strong>\u043c\u0435\u043d\u044c\u0448\u0443\u044e<\/strong> \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0431\/\u043f\u043e\u0438\u0441\u043a\u0430, \u0438 \u043a\u0430\u043a\u0438\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438 (best\u2011of\u2011n, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043d\u0438\u0435, \u0434\u0435\u0440\u0435\u0432\u043e\u2011\u043f\u043e\u0438\u0441\u043a) \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u2014 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438 \u043d\u043e\u0432\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <strong>REBASE<\/strong>), \u0434\u0430\u044e\u0449\u0438\u0435 \u043b\u0443\u0447\u0448\u0443\u044e \u00ab\u0446\u0435\u043d\u0430\/\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u00bb \u043a\u0440\u0438\u0432\u0443\u044e [9].<\/p>\n<h4>\u0410\u0433\u0435\u043d\u0442 \u2194 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440: ACI [4] \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u044b<\/h4>\n<p>\u0412 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u2014 <strong>\u0441\u0432\u044f\u0437\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0441 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435\u043c<\/strong>. \u041f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u0430 <strong>Agent\u2011Computer Interface (ACI)<\/strong> \u0437\u0430\u0434\u0430\u0451\u0442 <strong>\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435<\/strong> (\u00ab\u043e\u0442\u043a\u0440\u043e\u0439 \u0444\u0430\u0439\u043b\u00bb, \u00ab\u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u0439 \u043f\u0430\u0442\u0447\u00bb, \u00ab\u0437\u0430\u043f\u0443\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u044b\u00bb, \u00ab\u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0439 \u043b\u043e\u0433\u00bb) \u0438 <strong>\u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c<\/strong> (\u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430, \u043b\u0438\u043d\u0442, \u0442\u0435\u0441\u0442\u2011\u0440\u0435\u043f\u043e\u0440\u0442\u044b). \u0422\u0430\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c, \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u043e\u0441\u0442\u044c \u00ab\u043d\u0430\u0432\u044b\u043a\u043e\u0432\u00bb \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0443\u0440\u043e\u0432\u043d\u044f SWE\u2011bench ACI\u2011\u043f\u043e\u0434\u0445\u043e\u0434 \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442\u0441\u044f \u0441 \u043c\u043d\u043e\u0433\u043e\u0440\u0430\u0443\u043d\u0434\u043e\u0432\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 \u0438 \u0434\u0430\u0451\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0442\u043e\u043d\u043a\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 <strong>edit<\/strong> \u0441 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u0434\u0438\u0444\u0444\u0430\u043c\u0438 + \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043b\u0438\u043d\u0442) [4].<\/p>\n<h4>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/h4>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u00ab\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u044b\u0435 \u0430\u0433\u0435\u043d\u0442\u044b\u00bb \u0432 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 Docker\u2011\u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0430\u0445, \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c <strong>AgentSkills<\/strong> \u0438 \u0434\u0435\u043b\u0435\u0433\u0430\u0446\u0438\u0435\u0439 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447) \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442, \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0432 \u041e\u0421\/IDE \u0438 \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u0448\u0438\u043d\u044b \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u043e\u043b\u0438\u0442\u0438\u043a [7].<\/p>\n<h4>\u041e\u0446\u0435\u043d\u043a\u0430 \u0438 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u043c\u043d\u0438<\/h4>\n<p>\u0421\u043e\u0444\u0442\u2011\u0430\u0433\u0435\u043d\u0442\u044b \u043b\u0435\u0433\u043a\u043e \u00ab\u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u00bb: \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f, \u00ab\u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0430 \u043f\u043e\u0434 \u0432\u0430\u043b\u0438\u0434\u0430\u0442\u043e\u0440\u00bb. \u0414\u043b\u044f \u0447\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 \u0432\u0430\u0436\u043d\u044b: \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0442\u0435\u0441\u0442\u044b, \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435\/\u0440\u0430\u043d\u0434\u043e\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u0430\u0442\u0447\u0430 end\u2011to\u2011end, \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b (\u0430 \u043d\u0435 \u00abLLM\u2011\u0441\u0443\u0434\u044c\u044f\u00bb) [8,10].<\/p>\n<h3>\u041a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u0438\u0437\u0435\u043c\u043b\u0438\u0442\u044c \u0432 \u00ab\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438\u00bb (\u0440\u0430\u0437\u0431\u043e\u0440 \u043a\u043e\u0434\u0430 \u0438 \u0440\u0435\u0436\u0438\u043c\u043e\u0432)<\/h3>\n<p>\u041d\u0438\u0436\u0435 \u2014 \u00ab\u044d\u043a\u0441\u043a\u0443\u0440\u0441\u0438\u044f\u00bb \u043f\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0438\u0434\u0435\u044f\u043c \u0438 \u0438\u0445 \u0432\u043e\u043f\u043b\u043e\u0449\u0435\u043d\u0438\u044e \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438. \u041c\u044b \u0431\u0435\u0440\u0451\u043c \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u044b \u0438\u0437 \u0442\u0435\u043e\u0440\u0438\u0438 (ReAct, self\u2011consistency, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044f, MoA, inference\u2011time compute) \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c, \u0433\u0434\u0435 \u043e\u043d\u0438 \u00ab\u0441\u0438\u0434\u044f\u0442\u00bb \u0432 \u043a\u043e\u0434\u0435.<\/p>\n<h4>\u041f\u043e\u0434\u0445\u043e\u0434 1: \u0421\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 (sync)<\/h4>\n<p><strong>\u0418\u0434\u0435\u044f.<\/strong> \u0427\u0438\u0441\u0442\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f ReAct [1]: \u043e\u0434\u0438\u043d \u0430\u0433\u0435\u043d\u0442 \u0432\u0435\u0434\u0451\u0442 \u0434\u0438\u0430\u043b\u043e\u0433 \u0441 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435\u043c\/\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u00ab\u0414\u0443\u043c\u0430\u044e \u2192 \u0414\u0435\u0439\u0441\u0442\u0432\u0443\u044e \u2192 \u041d\u0430\u0431\u043b\u044e\u0434\u0430\u044e \u2192 \u041a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u044e \u043f\u043b\u0430\u043d\u00bb. \u042d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f, \u043d\u043e \u043d\u0430\u0434\u0451\u0436\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0430 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u0438 \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u044f\u0432\u043d\u044b\u0439 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 (\u044e\u043d\u0438\u0442\u2011\u0442\u0435\u0441\u0442\u044b\/\u0447\u0435\u043a\u2011\u043b\u0438\u0441\u0442\u044b). \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u043a\u0440\u0438\u0442\u0438\u043a\u043e\u0439: \u00ab\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 PRM\u00bb \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438 [1][3].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> \u041e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 <code>sync<\/code> \u0438 CLI\u2011\u0442\u043e\u0447\u043a\u0430 <code>mas.cli.main --approach sync<\/code> \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u043a\u0435\u0439\u0441\u044b, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0440\u0435\u0442\u0440\u0430\u0438 \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (\u0432\u0440\u0435\u043c\u044f\/\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b\/\u0443\u0441\u043f\u0435\u0445\u0438). \u042d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0442 baseline, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u043e\u0440\u043e\u0448\u043e \u00ab\u043d\u0430\u0432\u0435\u0448\u0438\u0432\u0430\u0442\u044c\u00bb self\u2011consistency \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0438\u0435 [\u0441\u043c. \u043d\u0438\u0436\u0435].<\/p>\n<h4>\u041f\u043e\u0434\u0445\u043e\u0434 2: \u0410\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 (async, \u0447\u0435\u0440\u0435\u0437 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440)<\/h4>\n<p><strong>\u0418\u0434\u0435\u044f.<\/strong> \u0420\u043e\u043b\u0438 \u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f: <code>Analyst<\/code> \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, <code>Fixer<\/code> \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043f\u0430\u0442\u0447, <code>Controller<\/code> \u0441\u043b\u0435\u0434\u0438\u0442 \u0437\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u043e\u043c\/\u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430\u043c\u0438, <code>Coordinator<\/code> \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0442\u043e\u0433. \u042d\u0442\u043e \u00ab\u0442\u043e\u043d\u043a\u0438\u0439 MoA\u00bb [5]: \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443, \u0430 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0440\u0435\u0448\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0438 \u0447\u0442\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c (\u0434\u0438\u0432\u0435\u0440\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437), \u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0446\u0435\u043d\u0443\/\u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u2014 \u0437\u043d\u0430\u0447\u0438\u0442, \u0432\u0430\u0436\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u0438 \u0447\u0438\u0441\u043b\u043e\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 [5][6].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> <code>mas.cli.main --approach async<\/code> \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0448\u0438\u043d\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u044b, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c). \u0420\u043e\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b\/\u0445\u044d\u043d\u0434\u043b\u0435\u0440\u044b, \u0447\u0442\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 (\u043b\u0435\u0433\u043a\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u00abBrowser\u00bb \u0438\u043b\u0438 \u00abDoc\u2011search\u00bb).<\/p>\n<h4>\u041f\u043e\u0434\u0445\u043e\u0434 3: \u0418\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439\/\u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0439<\/h4>\n<p><strong>\u0418\u0434\u0435\u044f.<\/strong> \u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430 \u0441\u0447\u0451\u0442 <strong>\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u0432\u043e\u0434\u0430<\/strong>: \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a (\u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\/\u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043e\u043a), \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u00ab\u043b\u0443\u0447\u0448\u0435\u0435 \u0438\u0437 N\u00bb \u043f\u043e \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0443, \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u043c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0440\u0430\u0437\u0431\u043e\u0440\u043e\u0432 (\u0447\u0442\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u0438 \u043f\u043e\u0447\u0435\u043c\u0443), \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438. \u042d\u0442\u043e \u043f\u0440\u044f\u043c\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e repeated sampling\/compute\u2011optimal \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0443 [6]: \u0438\u043d\u043e\u0433\u0434\u0430 \u00ab\u043c\u0435\u043d\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c + \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043f\u044b\u0442\u043e\u043a\u00bb \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u00ab\u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c + \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u00bb [6].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> <code>mas.cli.iterative<\/code> \u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044e, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0431\u0430\u0442\u0447\u0438 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043e\u0442\u0431\u043e\u0440\u0430 (\u044e\u043d\u0438\u0442\u2011\u0442\u0435\u0441\u0442\u044b\/\u0447\u0435\u043a\u2011\u043b\u0438\u0441\u0442\u044b), \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0432\u043e\u0434\u0438\u0442 \u0441\u0432\u043e\u0434\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u042d\u0442\u043e\u0442 \u0440\u0435\u0436\u0438\u043c \u043b\u0435\u0433\u043a\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 sync\/async: \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0438 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u0438 \u0432 \u043c\u043d\u043e\u0433\u043e\u0440\u043e\u043b\u0435\u0432\u043e\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439.<\/p>\n<hr\/>\n<h3>\u0414\u0432\u0430 \u0440\u0435\u0436\u0438\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b LLM: \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 API<\/h3>\n<h4>A) \u0418\u043c\u0438\u0442\u0430\u0446\u0438\u044f LLM (\u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438)<\/h4>\n<p><strong>\u0417\u0430\u0447\u0435\u043c.<\/strong> \u0421\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430 \u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432; \u0431\u044b\u0441\u0442\u0440\u043e \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u044e. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f <strong>\u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/strong>: \u043c\u044b \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0441\u0438\u0434\u044b\/\u043a\u0435\u0439\u0441\u044b \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0434\u0440\u0435\u0439\u0444 \u043c\u043e\u0434\u0435\u043b\u0438.<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> \u041c\u043e\u0434\u0443\u043b\u044c <code>mas.llm.mock_client<\/code> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u043b\u044f \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043a\u0435\u0439\u0441\u043e\u0432 (\u00ab\u0432\u044b\u0445\u043e\u0434 \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u044b\u00bb, \u00ab\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u043e\u043b\u044c\u00bb \u0438 \u0442. \u043f.), \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432 \u00ab\u0447\u0438\u0441\u0442\u043e\u043c\u00bb \u0432\u0438\u0434\u0435 \u0438 \u0432\u0438\u0434\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439\/\u0448\u0430\u0433\u043e\u0432\/\u0440\u0435\u0442\u0440\u0430\u0435\u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u043e\u0434\u0445\u043e\u0434\u0443.<\/p>\n<h4>\u0411) \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 LLM \u0447\u0435\u0440\u0435\u0437 API (OpenAI \u0438 \u0434\u0440.)<\/h4>\n<p><strong>\u0417\u0430\u0447\u0435\u043c.<\/strong> \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u00ab\u0432 \u043f\u043e\u043b\u0435\u00bb: \u043f\u0440\u043e\u043c\u043f\u0442\u2011\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433, \u0448\u0443\u043c\u043d\u044b\u0435 \u043b\u043e\u0433\u0438, \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0430\u0445, \u043b\u0438\u043c\u0438\u0442\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u043b\u044c <strong>ACI<\/strong>: \u0447\u0435\u043c \u0447\u0438\u0449\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u0435\u0435 \u043e\u0442\u043a\u043b\u0438\u043a (\u043b\u0438\u043d\u0442, \u0434\u0438\u0444\u0444, \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0430), \u0442\u0435\u043c \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435 \u043f\u0435\u0442\u043b\u044f ReAct [4].<br \/> <strong>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.<\/strong> <code>mas.llm.real_llm<\/code> (\u0441\u043c. <code>env_example.txt<\/code> \u0438 <code>docs\/SETUP_OPENAI.md<\/code>) \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442 API, \u0443\u0432\u0430\u0436\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c\/\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0438 \u043f\u0440\u043e\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0437\u043e\u0432\u044b \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0449\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441. CLI:<\/p>\n<pre><code class=\"bash\">python -X utf8 -m mas.cli.main --use-openai --openai-model gpt-4 --approach both --cases 1 2 3 <\/code><\/pre>\n<hr\/>\n<h3>\u041a\u0430\u043a \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043c\u043f\u0442 (\u0432 \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435)<\/h3>\n<p>\u0422\u043e\u0447\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u043e\u043b\u044f\u043c\u0438\/\u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438, \u043d\u043e \u043e\u0431\u0449\u0438\u0439 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a \u2014 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435:<\/p>\n<pre><code>[system] \u0412\u044b \u2014 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u2011\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0432 \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u043c\u0438 (ACI): READ_FILE, EDIT_PATCH, RUN_TESTS, ANALYZE_LOG. \u041f\u0440\u0430\u0432\u0438\u043b\u0430: \u0434\u0435\u043b\u0430\u0439\u0442\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438; \u043f\u043e\u044f\u0441\u043d\u044f\u0439\u0442\u0435 \u043f\u043b\u0430\u043d; \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0439\u0442\u0435 \u0444\u0430\u043a\u0442\u044b; \u0443\u0432\u0430\u0436\u0430\u0439\u0442\u0435 \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u044b\u0432\u043e\u0434\u0430.  [user] \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442: &lt;\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u0435\u0439\u0441\u0430 + \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u0434\u0430 + \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0435\/\u0442\u0435\u0441\u0442\u2011\u0444\u0435\u0439\u043b&gt; \u0426\u0435\u043b\u044c: \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0431\u0430\u0433 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0448\u043b\u0438 \u0442\u0435\u0441\u0442\u044b. \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u0438\u0437\u043c\u0435\u043d\u044f\u0439\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b; \u043d\u0435 \u043c\u0435\u043d\u044f\u0439\u0442\u0435 API; \u0432\u0440\u0435\u043c\u044f \u2264 X \u0441\u0435\u043a; \u0431\u044e\u0434\u0436\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2264 Y.  [assistant] \u041f\u043b\u0430\u043d (\u0448\u0430\u0433\u0438): 1) \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443\/\u0444\u0443\u043d\u043a\u0446\u0438\u044e; 2) \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0443 \u043f\u0430\u0442\u0447; 3) \u0437\u0430\u043f\u0443\u0449\u0443 \u0442\u0435\u0441\u0442\u044b; \u0435\u0441\u043b\u0438 \u0443\u043f\u0430\u043b\u0438 \u2014 \u0443\u0442\u043e\u0447\u043d\u044e \u043f\u043b\u0430\u043d \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044e.  [assistant \u2192 tool] EDIT_PATCH &lt;&lt;&lt;&lt; unified\u2011diff @@ file.py:42\u201150 @@ - return a \/ b + if b == 0: +     return 0  # safe\u2011guard + return a \/ b &gt;&gt;&gt;&gt;  [tool \u2192 assistant] RUN_TESTS \u2192 FAIL (test_div_zero) LOG: Traceback ... ZeroDivisionError ...  [assistant] \u041e\u0431\u043d\u043e\u0432\u043b\u044f\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443: \u043d\u0443\u0436\u043d\u043e \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434, \u0430 \u043d\u0435 0. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u0430\u0442\u0447 v2\u2026 <\/code><\/pre>\n<p><strong>\u0422\u0435\u043e\u0440\u0438\u044f \u0440\u044f\u0434\u043e\u043c.<\/strong> \u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u043f\u0440\u044f\u043c\u043e \u00ab\u0432\u0448\u0438\u0432\u0430\u0435\u0442\u00bb ReAct (\u043f\u043b\u0430\u043d\u2192\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u2192\u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435), \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 <strong>\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u2011\u0441\u0443\u043f\u0435\u0440\u0432\u0438\u0437\u0438\u044e [3]<\/strong><\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-474439","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/474439","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=474439"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/474439\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=474439"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=474439"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=474439"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}