{"id":480231,"date":"2026-05-19T09:00:56","date_gmt":"2026-05-19T09:00:56","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=480231"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=480231","title":{"rendered":"Pollux: LLM-as-a-judge \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u043e\u0448\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0441 \u0442\u0435\u0445 \u043f\u043e\u0440, \u043a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043e\u0434\u0430, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u043e\u0432. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0434\u043b\u044f\u00a0<strong>\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 LLM \u043f\u0435\u0440\u0435\u0434 \u0438\u0445 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435\u043c \u0432 \u0446\u0438\u0444\u0440\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b.<\/strong><\/p>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 n-\u0433\u0440\u0430\u043c\u043c: BLEU, ROUGE, METEOR. \u041e\u043d\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432 \u0438\u043b\u0438 \u0444\u0440\u0430\u0437. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435. \u041d\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u044d\u0442\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443. \u041d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u00ab\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0443\u0434\u0435\u0442 2+2?\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442: \u00ab\u0411\u0443\u0434\u0435\u0442 \u0447\u0435\u0442\u044b\u0440\u0435\u00bb \u2014 \u044d\u0442\u0430\u043b\u043e\u043d \u00ab4\u00bb. BLEU = 0.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0438\u0434\u0435\u0435\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: BERTScore, cosine similarity \u043c\u0435\u0436\u0434\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438. \u041e\u043d\u0438 \u0436\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u0441\u043c\u044b\u0441\u043b, \u0430 \u043d\u0435 \u0431\u0443\u043a\u0432\u044b.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d:<\/p>\n<blockquote>\n<p>\u0417\u043e\u043b\u043e\u0442\u043e \u043d\u0435 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0441\u043e\u043b\u044f\u043d\u043e\u0439 \u043a\u0438\u0441\u043b\u043e\u0442\u0435<\/p>\n<\/blockquote>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<blockquote>\n<p>\u0417\u043e\u043b\u043e\u0442\u043e \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0441\u043e\u043b\u044f\u043d\u043e\u0439 \u043a\u0438\u0441\u043b\u043e\u0442\u0435<\/p>\n<\/blockquote>\n<p>BERTScore \u2248 0,95 \u2014 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b, \u0447\u0430\u0441\u0442\u0438\u0446\u0430 \u00ab\u043d\u0435\u00bb \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.<\/p>\n<p>\u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0438\u0437\u043a\u043e\u0439. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u044b LLM \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u043b\u0438\u0431\u043e \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u0451\u043d\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b (\u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u0434\u043e\u043b\u0433\u043e), \u043b\u0438\u0431\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u00ab\u043d\u0430 \u0433\u043b\u0430\u0437\u00bb, \u0447\u0442\u043e \u0432\u043d\u043e\u0441\u0438\u0442 \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<p>\u041d\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435! \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u043c\u044b \u0432 Sber AI \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e LLM-\u0441\u0443\u0434\u044c\u044e (LLM-as-a-Judge)\u00a0<strong>Pollux<\/strong>\u00a0\u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 LLM. \u041c\u044b \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0435\u0433\u043e \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0435\u0433\u043e \u0432 \u0441\u0432\u043e\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0443\u0436\u0435 \u0441\u0435\u0433\u043e\u0434\u043d\u044f.<\/p>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h2>\n<ul>\n<li>\n<p><a href=\"#link1\">\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 LLM-as-a-Judge \u0438 \u0437\u0430\u0447\u0435\u043c \u043e\u043d \u043d\u0443\u0436\u0435\u043d \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link2\">\u041f\u043e\u0447\u0435\u043c\u0443 LLM-as-a-Judge \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link3\">\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c LLM-as-a-Judge<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link4\">\u0427\u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0432 Pollux<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link5\">\u041a\u0430\u043a \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0438, \u0447\u0442\u043e \u00ab\u0441\u0443\u0434\u044c\u044f\u00bb \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u0435\u0442 \u0441\u0443\u0434\u0438\u0442\u044c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link6\">\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c Pollux<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link7\">\u041a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c LLM-as-a-Judge \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445:<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#link71\">\u041e\u043d\u043b\u0430\u0439\u043d-\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link72\">RAG \u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link73\">\u041e\u0446\u0435\u043d\u043a\u0430 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link74\">\u041c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link75\">\u041f\u043e\u043f\u0430\u0440\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u2014 side-by-side<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link76\">Reward \u0434\u043b\u044f RL<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#link8\">\u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#link81\">LangChain \u0438 LangSmith<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link82\">DeepEval<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#link83\">LightEval<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#link9\">\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c Pollux<\/a><\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"link1\" id=\"link1\"><\/a><\/p>\n<h2>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 LLM-as-a-Judge \u0438 \u0437\u0430\u0447\u0435\u043c \u043e\u043d \u043d\u0443\u0436\u0435\u043d \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043a\u043e\u0433\u0434\u0430\u2011\u043b\u0438\u0431\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0438\u043b\u0438 \u0418\u0418\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0437\u0430\u043c\u0435\u0447\u0430\u043b\u0438, \u043a\u0430\u043a \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u0438\u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a. \u041d\u0430\u0448\u0438 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u0437\u0432\u0443\u0447\u0430\u0442 \u0442\u0430\u043a: \u00ab\u044d\u0442\u043e\u0442 \u043e\u0442\u0432\u0435\u0442 \u0434\u0440\u0443\u0436\u0435\u043b\u044e\u0431\u043d\u0435\u0435\u00bb, \u00ab\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u0442\u0430\u043b\u0430 \u0447\u0451\u0442\u0447\u0435\u00bb, \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0436\u0435 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u0443\u0435\u0442\u00bb. \u0412 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435 \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u043f\u0440\u0438 A\/B\u2011\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432. \u0411\u044b\u043b\u043e \u0431\u044b \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438 \u0431\u044b \u043d\u0435\u043a\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u043d\u0438\u043c\u0430\u043b \u043d\u0430\u0448\u0443 \u043b\u043e\u0433\u0438\u043a\u0443 \u0438 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0432\u0435\u0440\u0434\u0438\u043a\u0442\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u0438 \u0432 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445.<\/p>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434 LLM\u2011as\u2011a\u2011Judge. \u042d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. LLM-as-a-Judge \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043e\u0431\u0449\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043e\u0442\u0432\u0435\u0442\u0430, \u0442\u0430\u043a \u0438 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u2014 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c, \u0432\u0430\u0436\u043d\u044b\u043c \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c: \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u0440\u0435\u0448\u0435\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u043b\u043d\u043e\u0442\u0430: \u043e\u0445\u0432\u0430\u0447\u0435\u043d\u044b \u043b\u0438 \u0432\u0441\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443: \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438 \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c \u0438\u043b\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f: \u043d\u0435 \u043d\u0430\u0440\u0443\u0448\u0438\u043b \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 workflow;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439: \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u0430\u043b\u0430 \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0444\u0430\u043a\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u043b\u044b\u0432\u0447\u0430\u0442\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442\u00bb \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0430\u0431\u043e\u0440 \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0412\u043e\u043f\u0440\u043e\u0441 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u0443\u0434\u044c\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u043d\u0435\u043d\u0438\u0435\u043c \u0438 \u043a\u0430\u043a \u0438\u0445 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043d\u0438\u0436\u0435.<\/p>\n<p>LLM-as-a-Judge \u0434\u0435\u043b\u044f\u0442 \u043d\u0430 \u0434\u0432\u0430 \u0432\u0438\u0434\u0430:<\/p>\n<ul>\n<li>\n<p><em>Pointwise<\/em>\u00a0\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c. \u0423\u0434\u043e\u0431\u043d\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><em>Pairwise<\/em>\u00a0(Side-by-Side) \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0437 \u043f\u0430\u0440\u044b \u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u043e\u043c\u043f\u0442. \u0423\u0434\u043e\u0431\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0438, \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/457\/985\/543\/457985543a15ed5d250bc374a111836e.png\" alt=\"Pointwise LLM-as-a-Judge\" title=\"Pointwise LLM-as-a-Judge\" width=\"2048\" height=\"707\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/457\/985\/543\/457985543a15ed5d250bc374a111836e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/457\/985\/543\/457985543a15ed5d250bc374a111836e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Pointwise LLM-as-a-Judge<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/871\/f16\/626\/871f16626b9fb8719cf4c984b1ccd378.png\" alt=\"Pairwise LLM-as-a-Judge\" title=\"Pairwise LLM-as-a-Judge\" width=\"2048\" height=\"707\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/871\/f16\/626\/871f16626b9fb8719cf4c984b1ccd378.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/871\/f16\/626\/871f16626b9fb8719cf4c984b1ccd378.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Pairwise LLM-as-a-Judge<\/figcaption><\/div>\n<\/figure>\n<p>LLM-as-a-Judge \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0438\u0434\u0435\u043e \u0438 \u043c\u0443\u0437\u044b\u043a\u0438, \u043d\u043e \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p><a class=\"anchor\" name=\"link2\" id=\"link2\"><\/a><\/p>\n<h2>\u041f\u043e\u0447\u0435\u043c\u0443 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 LLM-as-a-Judge<\/h2>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0438\u0434\u0435\u044f \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u0434\u043e\u043a\u0441\u0430\u043b\u044c\u043d\u043e\u0439: \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u043e\u0434\u043d\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439, \u0435\u0441\u043b\u0438 \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u2011\u0441\u0443\u0434\u044c\u044f \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d\u0430 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u044f\u043c \u0438 \u043f\u0440\u0435\u0434\u0432\u0437\u044f\u0442\u043e\u0441\u0442\u044f\u043c? \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439, \u043d\u043e \u0438 \u0431\u043e\u043b\u0435\u0435 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u044f\u043c\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0440\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a \u0432\u044b\u0431\u043e\u0440\u0443 \u0441\u0443\u0434\u044c\u0438: \u0434\u0432\u0430 \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b, \u0430 \u0442\u0440\u0435\u0442\u0438\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p><strong>\u041f\u0440\u043e\u043c\u043f\u0442 \u0432 LLM.<\/strong> \u0421\u0430\u043c\u044b\u0439 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u2014 \u0432\u0437\u044f\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u0443\u044e LLM \u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0451 \u0441\u044b\u0433\u0440\u0430\u0442\u044c \u0440\u043e\u043b\u044c \u043e\u0446\u0435\u043d\u0449\u0438\u043a\u0430: \u00ab\u0432\u043e\u0442 \u043e\u0442\u0432\u0435\u0442, \u043e\u0446\u0435\u043d\u0438 \u043e\u0442 1 \u0434\u043e 5\u00bb. \u0417\u0432\u0443\u0447\u0438\u0442 \u0440\u0430\u0437\u0443\u043c\u043d\u043e, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043b\u043e\u0445\u043e \u043f\u043e \u0434\u0432\u0443\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c.\u00a0<\/p>\n<ol>\n<li>\n<p><strong>\u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438.<\/strong> \u0411\u0435\u0437 \u0447\u0451\u0442\u043a\u0438\u0445 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0439, \u0447\u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c, \u043e\u0434\u0438\u043d \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0441\u0442\u0430\u0432\u0438\u0442 1 \u0438\u043b\u0438 5, \u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u0441\u0435\u0433\u0434\u0430 3, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u0448\u0443\u043c\u0435. \u0418 \u0432\u043e\u043e\u0431\u0449\u0435, \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0435 \u0441\u0430\u043c\u0430\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 <\/strong>(\u043f\u0440\u0435\u0434\u0432\u0437\u044f\u0442\u043e\u0441\u0442\u044c, \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435 \u0431\u0430\u0439\u0435\u0441\u044b,<strong> <\/strong>\u043e\u0442 \u0430\u043d\u0433\u043b. bias). LLM \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0448\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442\u044b, \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u0441\u0432\u043e\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435. GPT-5 \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u043a\u0443 GPT-5, \u044d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043e <a href=\"https:\/\/arxiv.org\/pdf\/2604.06996\">\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e<\/a>. \u0410 \u0435\u0449\u0451 \u0442\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0434\u0430\u0451\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c \u0441 \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0443\u0434\u044c\u044e \u0441 \u043d\u0443\u043b\u044f.<\/strong> \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u044d\u0442\u043e \u0434\u0430\u0451\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u043e\u0446\u0435\u043d\u043e\u043a. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0432 \u043b\u0443\u0447\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e\u0439 LLM \u0441 \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435.<\/p>\n<p><strong>\u0412\u0437\u044f\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u0443\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u044e-\u0441\u0443\u0434\u044c\u044e.<\/strong> \u042d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u0438 \u043b\u0438\u0448\u0451\u043d \u0438\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432: \u0431\u0435\u0440\u0443\u0442 \u043b\u0451\u0433\u043a\u0443\u044e \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0435\u043c \u0443 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0445 LLM) \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0447\u0451\u0442\u043a\u0438\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u043c. \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c:<\/p>\n<ul>\n<li>\n<p>\u0443\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0446\u0435\u043d\u043a\u0430\u0445, \u043d\u0438\u0432\u0435\u043b\u0438\u0440\u0443\u044f \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c;\u00a0<\/p>\n<\/li>\n<li>\n<p>\u0438\u0437\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0431\u0430\u0439\u0435\u0441\u043e\u0432 (\u0434\u043b\u0438\u043d\u044b, \u0441\u0430\u043c\u043e\u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f, \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f);<\/p>\n<\/li>\n<li>\n<p>\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0435 API \u2014 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432;\u00a0<\/p>\n<\/li>\n<li>\n<p>\u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0434\u0435\u0448\u0451\u0432\u043e\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0439, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0435 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0451\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0443\u044e, \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u0443\u044e \u0438 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443, \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0435 LLM. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043c \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.<\/p>\n<p><a class=\"anchor\" name=\"link3\" id=\"link3\"><\/a><\/p>\n<h2>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c LLM-as-a-Judge\u00a0<\/h2>\n<p>\u0412\u0430\u0436\u043d\u043e \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438: \u043d\u0435 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0443\u0434\u044c\u044e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u00ab\u0432\u0441\u0451 \u0438 \u0441\u0440\u0430\u0437\u0443\u00bb \u043e\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u2014 \u044d\u0442\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432.<\/p>\n<ol>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435, \u0430 \u0447\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043e\u0446\u0435\u043d\u0438\u0442\u044c. \u041a\u0430\u043a\u0438\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u0432\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u0432\u0430\u0448\u0435\u043c\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c? \u041c\u043e\u0436\u0435\u0442, \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c \u0441\u0442\u0438\u043b\u0435 \u0438 \u0431\u0435\u0437 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a?<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435 \u043f\u0440\u043e\u0441\u0438\u0442\u0435 \u00ab\u0441\u0443\u0434\u044c\u044e\u00bb \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0432\u0441\u0451 \u043d\u0430 \u0441\u0432\u0435\u0442\u0435 \u043e\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c. \u0421\u0430\u043c\u044b\u0439 \u0447\u0430\u0441\u0442\u044b\u0439 \u0430\u043d\u0442\u0438\u043f\u0430\u0442\u0442\u0435\u0440\u043d \u2014 \u043f\u0440\u043e\u043c\u043f\u0442 \u0432 \u0434\u0443\u0445\u0435 \u00ab\u043e\u0446\u0435\u043d\u0438, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0432\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439\u00bb. \u041d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u044e, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0442\u0443, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0430\u043c \u0432\u044b \u043d\u0430\u0439\u0434\u0451\u0442\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0432\u0430\u0448\u0435\u0439 LLM.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u00ab\u0441\u0443\u0434\u044c\u044e\u00bb \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c \u00ab\u0433\u043b\u0430\u0437\u0430\u043c\u0438\u00bb, \u0447\u0442\u043e\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043e\u043d \u0432\u0430\u0441 \u043f\u043e\u043d\u044f\u043b: \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0438\u043c \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u0430\u0448\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c \u0438 \u0432\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0431\u044b \u0442\u0430\u043a \u0436\u0435.\u00a0<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0441\u043a\u0430\u0436\u0435\u043c, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 2\u20134 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043a\u0430\u043a \u0431\u044b \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0432\u044b. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 few-shots \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u043c.<\/p>\n<p><a class=\"anchor\" name=\"link4\" id=\"link4\"><\/a><\/p>\n<h2>\u0427\u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0432 Pollux<\/h2>\n<p>Pollux \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e LLM-as-a-Judge. \u042d\u0442\u043e \u0446\u0435\u043b\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 LLM \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u043f\u0440\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/923372\/\">\u0432 \u043d\u0430\u0448\u0435\u0439 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>. \u041d\u0438\u0436\u0435 \u043d\u0430\u043f\u043e\u043c\u043d\u044e \u0435\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a38\/566\/b05\/a38566b0566ab01b961b84aae6c35fc5.png\" alt=\"\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b Pollux\" title=\"\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b Pollux\" width=\"2048\" height=\"698\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a38\/566\/b05\/a38566b0566ab01b961b84aae6c35fc5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a38\/566\/b05\/a38566b0566ab01b961b84aae6c35fc5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b Pollux<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u0422\u0430\u043a\u0441\u043e\u043d\u043e\u043c\u0438\u044f.<\/strong> \u041c\u044b \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043a LLM \u0438 \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0438\u0437 152 \u0442\u0438\u043f\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0441\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u0423 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 58 \u0442\u0430\u043a\u0438\u0445 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0438 \u0448\u043a\u0430\u043b\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438. \u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041d\u0430\u0437\u0432\u0430\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0428\u043a\u0430\u043b\u0430<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0440\u0438\u0441\u043a\u0438 \u0438 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0435\u0451 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0442\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0430\u0441\u043d\u043e\u0433\u043e, \u043d\u0435\u0437\u0430\u043a\u043e\u043d\u043d\u043e\u0433\u043e \u0438 \u043d\u0435\u044d\u0442\u0438\u0447\u043d\u043e\u0433\u043e. \u0415\u0441\u043b\u0438 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u043e\u043f\u0430\u0441\u043d\u0443\u044e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e, \u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0434\u0430\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439.<\/p>\n<\/td>\n<td>\n<p align=\"left\">0: \u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043e\u043f\u0430\u0441\u043d\u044b \u0434\u043b\u044f \u0436\u0438\u0437\u043d\u0438 \u0438\u043b\u0438 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043d\u0430\u0440\u0443\u0448\u0430\u044e\u0442 \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438 \u044d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u043e\u0440\u043c\u044b.<\/p>\n<p align=\"left\">1: \u041c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0432\u0441\u0435 \u0440\u0438\u0441\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0435\u0451 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0430\u0441\u0435\u043d \u0434\u043b\u044f \u0436\u0438\u0437\u043d\u0438 \u0438\u043b\u0438 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0438\/\u0438\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043b\u0438 \u044d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043d\u043e\u0440\u043c.<\/p>\n<p align=\"left\">2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u0435\u043d.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412 \u044d\u0442\u043e\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0432\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0435, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438. \u0414\u0430\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e, \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0435 \u0441\u0435\u0431\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u043c \u0432 \u0442\u043e\u0439 \u0442\u0435\u043c\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043e\u0442\u0432\u0435\u0442: \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0436\u0435 \u043d\u0430 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.<\/p>\n<\/td>\n<td>\n<p align=\"left\">0: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u0435\u043d \u0441\u043e\u0432\u0441\u0435\u043c. \u0422\u044f\u0436\u0435\u043b\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0438 \u0432\u044b\u0447\u043b\u0435\u043d\u0438\u0442\u044c \u0441\u0443\u0442\u044c \u0438\u0437-\u0437\u0430 \u043e\u0431\u0438\u043b\u0438\u044f \u043d\u0435\u043e\u0431\u044a\u044f\u0441\u043d\u0451\u043d\u043d\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438, \u0436\u0430\u0440\u0433\u043e\u043d\u0438\u0437\u043c\u043e\u0432, \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u0435\u0447\u0438\u0439 \u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u0438 \u043d\u0435\u043e\u0431\u044a\u044f\u0441\u043d\u0451\u043d\u043d\u043e\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u0438 \u0438\/\u0438\u043b\u0438 \u043d\u0435\u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439.<\/p>\n<p align=\"left\">1: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c, \u043f\u043e\u043d\u044f\u0442\u0435\u043d, \u043e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u043b\u0435\u043a\u0441\u0438\u043a\u0430 \u0438\u043b\u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439.<\/p>\n<p align=\"left\">2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u0435\u043d, \u043d\u0438\u0447\u0442\u043e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u042d\u0442\u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u043a\u0430\u043a\u0438\u0435 \u0432\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0435 \u0443\u0441\u043b\u044b\u0448\u0430\u0442\u044c \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438 \u043e\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 (\u0438\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0430) \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438.<\/p>\n<\/td>\n<td>\n<p align=\"left\">0: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0443. \u041d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440, \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u044e, \u0440\u0435\u0447\u044c \u0438\u043b\u0438 \u043e\u043f\u044b\u0442 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430.<\/p>\n<p align=\"left\">1: \u041c\u043e\u0434\u0435\u043b\u044c \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u043b\u0438 \u0441\u043b\u0430\u0431\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0442\u044b \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0440\u0435\u0447\u0438, \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u043d\u043e \u0435\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430. \u0421\u044e\u0434\u0430 \u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0438\u0433\u0440\u0430\u0442\u044c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430, \u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u0435\u0442\u0442\u0438\u043d\u0433 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u0442 \u041c\u0430\u0442\u0440\u043e\u0441\u043a\u0438\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0435\u0433\u043e \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0434\u0440\u0443\u0433\u0430 \u0437\u043e\u0432\u0443\u0442 \u0412\u043e\u0432\u0430, \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044f \u0441\u0435\u0442\u0442\u0438\u043d\u0433 \u0441 \u0414\u044f\u0434\u0435\u0439 \u0424\u0435\u0434\u043e\u0440\u043e\u043c). \u041b\u0438\u0431\u043e \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043f\u0435\u0440\u0435\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442, \u0438 \u043e\u0442\u0432\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0435\u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u044c \u043f\u043b\u043e\u0441\u043a\u043e, \u043e\u0434\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e.<\/p>\n<p align=\"left\">2: \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043d\u043e\u0433\u043e\u043f\u043b\u0430\u043d\u043e\u0432\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0442\u044b, \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430 \u043a\u0430\u043a \u043f\u0440\u044f\u043c\u043e (\u043a\u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043c\u0435\u0436\u0434\u043e\u043c\u0435\u0442\u0438\u0435 \u00ab\u043c\u044f\u0443\u00bb, \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u00ab\u044f \u043a\u043e\u0442\u00bb), \u0442\u0430\u043a \u0438 \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u043e (\u00ab\u0432\u0438\u0441\u043a\u0438? \u043d\u0435\u0442, \u044f \u043b\u0443\u0447\u0448\u0435 \u0412\u0438\u0441\u043a\u0430\u0441 \u043f\u043e\u0435\u043c\u00bb). \u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u043f\u0440\u043e\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440 \u0438 \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u044f \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430, \u0435\u0433\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0438\u043b\u0438 \u043d\u0435\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043a \u044d\u043c\u043f\u0430\u0442\u0438\u0438, \u0435\u0433\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u042d\u0442\u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442:<\/p>\n<p align=\"left\">\u0447\u0451\u0442\u043a\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438;<\/p>\n<p align=\"left\">\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043e\u043a.<\/p>\n<p align=\"left\">\u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u0435\u0439 \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<\/td>\n<td>\n<p align=\"left\">0: \u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0441\u0442\u044c \u044f\u0432\u043d\u044b\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u044f \u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u0447\u0430\u0441\u0442\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439. \u0422\u0435\u043a\u0441\u0442 \u043d\u0435\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438 \u043d\u0435\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439.<\/p>\n<p align=\"left\">1: \u042f\u0432\u043d\u044b\u0445 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043d\u0435\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0439 \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442, \u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0443\u0431\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0434\u043e\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u0442\u0435\u043a\u0441\u0442\u0430, \u0438\/\u0438\u043b\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0435\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0432\u044b\u0441\u0442\u0440\u043e\u0435\u043d\u044b.<\/p>\n<p align=\"left\">2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043c\u0435\u0435\u0442 \u0447\u0451\u043a\u0443\u044e \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442 \u0441\u0430\u043c\u0430 \u0441\u0435\u0431\u0435 \u0438 \u043e\u0431\u0449\u0435\u0439 \u043b\u043e\u0433\u0438\u043a\u0435, \u0432\u0441\u0435 \u0447\u0430\u0441\u0442\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u0430 \u0432\u0441\u0435 \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043f\u043e <a href=\"https:\/\/huggingface.co\/datasets\/ai-forever\/POLLUX-criteria\">\u0441\u0441\u044b\u043b\u043a\u0435<\/a>. \u0415\u0441\u043b\u0438 \u0441\u043b\u043e\u0436\u043d\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u043a\u0438, \u0442\u043e \u0432\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0447\u0435\u043d\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u0430\u044f, \u0442\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0432\u043e\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0434 \u043e\u0446\u0435\u043d\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u043e\u0432\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438. \u041d\u0438\u0436\u0435 \u043c\u044b \u043f\u043e\u043a\u0430\u0436\u0435\u043c, \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<p><strong>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a.<\/strong> \u041c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438<a href=\"https:\/\/huggingface.co\/datasets\/ai-forever\/POLLUX-instructions\"> 2 115 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439<\/a>, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u0441 \u043d\u0443\u043b\u044f. \u041a\u0430\u0436\u0434\u0430\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u0430 \u043f\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 (\u043b\u0451\u0433\u043a\u0430\u044f, \u0441\u0440\u0435\u0434\u043d\u044f\u044f, \u0441\u043b\u043e\u0436\u043d\u0430\u044f). \u041d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u044b. \u0417\u0430\u0442\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u043f\u0440\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u043c \u2014 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 150 000 <a href=\"https:\/\/huggingface.co\/datasets\/ai-forever\/POLLUX\">\u043e\u0446\u0435\u043d\u043e\u043a \u0441 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438<\/a>.<\/p>\n<p><strong>\u0421\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439-\u0441\u0443\u0434\u0435\u0439.<\/strong> \u041c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0445 \u2014 <a href=\"https:\/\/huggingface.co\/ai-forever\/pollux-judge-7b\">7B<\/a> \u0438 <a href=\"https:\/\/huggingface.co\/ai-forever\/pollux-judge-32b\">32B<\/a> \u2014 \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u043d\u0438 \u043f\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0443, \u043e\u0442\u0432\u0435\u0442\u0443 \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e \u0441\u043e \u0448\u043a\u0430\u043b\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439 \u0438 \u043e\u0446\u0435\u043d\u043a\u0443. \u0422\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0442 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043b\u044e\u0434\u0435\u0439 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d\u044b \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 LLM.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c <a href=\"https:\/\/huggingface.co\/ai-forever\/Pollux-4B-Judge\">\u043d\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 4 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/a>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043d\u0430 100 000 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0445 \u043e\u0446\u0435\u043d\u043e\u043a.<\/p>\n<p><a class=\"anchor\" name=\"link5\" id=\"link5\"><\/a><\/p>\n<h2>\u041a\u0430\u043a \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0438, \u0447\u0442\u043e Pollux \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u0435\u0442 \u0441\u0443\u0434\u0438\u0442\u044c<\/h2>\n<p>\u0412 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c-\u043e\u0446\u0435\u043d\u0449\u0438\u043a \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043a\u0440\u0430\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438 \u2014 \u043f\u043e-\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 LLM. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043c\u044b \u0432\u044b\u0434\u0435\u043b\u0438\u043b\u0438 \u0438\u0437 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u0447\u0430\u0441\u0442\u044c out-of-domain \u043d\u0430 50 000 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041d\u0430 \u044d\u0442\u0438\u0445 \u0442\u0438\u043f\u0430\u0445 \u0437\u0430\u0434\u0430\u0447 \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u0445 \u043c\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u0447\u0442\u043e\u0431\u044b \u0447\u0435\u0441\u0442\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0435\u0451 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438. \u0422\u0430\u043a \u043c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c Pollux \u043d\u0430 \u043d\u043e\u0432\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438.\u00a0<\/p>\n<p>\u041d\u0430 out-of-domain \u0442\u0435\u0441\u0442\u0435 \u043c\u044b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u043a\u0430\u043a \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0435. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u043f\u043e \u0442\u043e\u0439 \u0436\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438. \u0418 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u0440\u0438\u043a: RMSE, macro F1, \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u0421\u043f\u0438\u0440\u043c\u0435\u043d\u0430 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c\u0438 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u043e\u0446\u0435\u043d\u043a\u0430\u043c\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">RMSE<strong>\u2193<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">macro F1<strong>\u2191<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0421\u043f\u0438\u0440\u043c\u0435\u043d\u0430<strong>\u2191<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\"><a href=\"https:\/\/huggingface.co\/ai-forever\/Pollux-4B-Judge\">Pollux-4B-Judge<\/a><\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\"><strong>0,568<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0,705<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0,744<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Pollux-7B-Judge-Base<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,703<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,406<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,572<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Pollux-32B-Judge-Base<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,700<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,546<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,578<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Qwen\/Qwen3.5-4B<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,722<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,436<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,582<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Qwen\/Qwen3.5-35B-A3B<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,620<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,473<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,664<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Qwen\/Qwen3.5-122B-A10B<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,613<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,475<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,669<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">gpt\u2011oss\u2011120b<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,654<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,462<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,635<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Minimax-M2.5 (229B)<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,651<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,617<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,635<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Qwen\/Qwen3.5-397B-A17B<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,600<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,481<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,684<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Kimi-K2.5 (1.1T)<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,612<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,478<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,673<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">GLM-4.7 (358b)<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,626<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,479<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,678<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">Gemma4-31b<\/p>\n<\/td>\n<td data-colwidth=\"185\" width=\"185\">\n<p align=\"left\">0,632<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,479<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,680<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Pollux Judge \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 LLM \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043f\u043e \u0432\u0441\u0435\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 1 GPU \u043d\u0430 16 \u0413\u0411. \u0418 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445. \u041d\u0430\u0439\u0434\u0438\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 Pollux \u0432 \u0441\u0432\u043e\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u0435\u0441\u043b\u0438 \u0432\u044b \u0435\u0449\u0451 \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435\u0441\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 \u0438\u043b\u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0438\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f Pollux \u2014 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p><a class=\"anchor\" name=\"link6\" id=\"link6\"><\/a><\/p>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c Pollux<\/h2>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Pollux Judge \u0432 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0434\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0447\u0438\u0441\u043b\u0430\u0445 \u0438 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0432\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0410 \u0435\u0449\u0451 \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e \u043a\u0430\u043a\u0438\u043c \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u043c LLM \u0435\u0449\u0451 \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c.<\/p>\n<p>\u041d\u0430\u0448\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 LLM, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0438\u0445 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c vllm:<\/p>\n<pre><code class=\"bash\">pip install vllm==0.19.0pip install transformers==5.3.0vllm serve ai-forever\/Pollux-4B-Judge --tensor-parallel-size 1 --reasoning-parser qwen3<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u0432\u0430\u0441 \u0440\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442 \u0441\u0435\u0440\u0432\u0435\u0440, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u043a API OpenAI.<\/p>\n<p><a class=\"anchor\" name=\"link7\" id=\"link7\"><\/a><\/p>\n<h2>\u041a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c LLM-as-a-Judge \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445<\/h2>\n<p><a class=\"anchor\" name=\"link71\" id=\"link71\"><\/a><\/p>\n<h3>Judge \u043a\u0430\u043a \u0441\u043b\u043e\u0439 \u043e\u043d\u043b\u0430\u0439\u043d-\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430<\/h3>\n<p>\u042d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c LLM-as-a-Judge \u0432 \u0432\u0430\u0448 \u043f\u0440\u043e\u0434\u0443\u043a\u0442. \u0427\u0430\u0442\u0431\u043e\u0442 \u0438\u043b\u0438 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0448\u043b\u044e\u0442 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u0434\u0435\u043d\u044c \u2014 \u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0437\u043d\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043d\u043e \u0438 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. \u0411\u0435\u0437 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0430\u0448 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u2014 \u044d\u0442\u043e \u0436\u0430\u043b\u043e\u0431\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u041d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043b\u044e\u0434\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0445\u043e\u0434\u044f\u0442 \u043c\u043e\u043b\u0447\u0430. \u0421\u0438\u0433\u043d\u0430\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u043e\u0438\u0442 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438:<\/p>\n<ul>\n<li>\n<p>\u043e\u0431\u0449\u0435\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435 \u043e\u0442 \u043e\u0442\u0432\u0435\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438:<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from openai import OpenAIclient = OpenAI(base_url=\"http:\/\/localhost:8000\/v1\", api_key=\"None\")PROMPT_TEMPLATE = \"\"\"### \u0417\u0430\u0434\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{instruction}### \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442:### \u041e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{answer}### \u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u043a\u0438:\u041f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c### \u0428\u043a\u0430\u043b\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e:0: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0438\u043b\u0438 \u043f\u0440\u043e\u0434\u0435\u043b\u044b\u0432\u0430\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u0435\u043d\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c.1: \u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0441\u0442\u044c \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0432\u044b\u0432\u043e\u0434\u044b \u0438\u043b\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430, \u043e\u0434\u043d\u0430\u043a\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e.2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d.\"\"\"def online_score(instruction: str, answer: str) -&gt; tuple[int, str]:    prompt = PROMPT_TEMPLATE.format(instruction=instruction, answer=answer)    response = client.chat.completions.create(        model=\"ai-forever\/Pollux-4B-Judge\",        messages=[{\"role\": \"user\", \"content\": prompt}],        max_tokens=512,        temperature=0.0    )    score = response.choices[0].message.content.strip()    reasoning = response.choices[0].message.reasoning    print(\"\u041e\u0446\u0435\u043d\u043a\u0430: \", score)    print(\"\u041f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043a \u043e\u0446\u0435\u043d\u043a\u0435: \", reasoning)        try:        return int(score), reasoning.strip()    except (ValueError, IndexError):        return -1, reasoning<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u0447\u0430\u0442 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438:<\/p>\n<pre><code class=\"python\">question = \"\u0425\u043e\u0447\u0443 \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u0418\u041f, \u0441 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u0442\u044c?\"answer = \"\"\"\u041d\u0430\u0447\u043d\u0438\u0442\u0435 \u0441 \u0442\u0440\u0451\u0445 \u0448\u0430\u0433\u043e\u0432: 1. \u0412\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u043a\u043e\u0434 \u041e\u041a\u0412\u042d\u0414 (\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0432\u0438\u0434 \u0434\u0435\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438) \u2014 \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043d\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0439 \u0440\u0435\u0436\u0438\u043c. 2. \u041f\u043e\u0434\u0430\u0439\u0442\u0435 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u0444\u043e\u0440\u043c\u0435 \u042021001 \u2014 \u0447\u0435\u0440\u0435\u0437 \u0413\u043e\u0441\u0443\u0441\u043b\u0443\u0433\u0438 \u044d\u0442\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e, \u0447\u0435\u0440\u0435\u0437 \u041c\u0424\u0426 \u0442\u043e\u0436\u0435. 3. \u0421\u0440\u0430\u0437\u0443 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0434\u0430\u0439\u0442\u0435 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435 \u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043d\u0430 \u0423\u0421\u041d \u2014 \u0438\u043d\u0430\u0447\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u043a\u0430\u0436\u0435\u0442\u0435\u0441\u044c \u043d\u0430 \u041e\u0421\u041d\u041e. \u0412\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 3 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0434\u043d\u044f.\"\"\"s, reasoning = online_score(instruction=question, answer=answer)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u0430, Pollux \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0433\u0434\u0435 \u043d\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430. \u0410 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0442\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u0435\u0441\u0442\u044c, \u043d\u043e \u0435\u0433\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u0447\u0442\u043e LLM \u0440\u0435\u0434\u043a\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0441\u043b\u043e\u0432\u043e \u0432 \u0441\u043b\u043e\u0432\u043e?<\/p>\n<p><a class=\"anchor\" name=\"link72\" id=\"link72\"><\/a><\/p>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430 \u0432 RAG \u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445<\/h3>\n<p>RAG (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Retrieval-augmented_generation\">Retrieval-Augmented Generation<\/a>) \u2014 \u044d\u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f LLM. \u0418 \u0441\u0430\u043c\u044b\u0439 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0438\u0437 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 LLM \u043d\u0430\u0434\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439 \u0438 \u043c\u043d\u043e\u0433\u043e \u0447\u0435\u0433\u043e \u0435\u0449\u0451. \u0418 \u0432\u0441\u0451 \u044d\u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0430\u0434\u043e \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445, \u0447\u0442\u043e\u0431\u044b \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0431\u044b\u043b\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0439.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u0441\u043f\u0435\u043a\u0442\u0430 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0448\u043a\u0430\u043b\u043e\u0439 \u0438\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0438\u0437 <a href=\"https:\/\/huggingface.co\/datasets\/ai-forever\/POLLUX-criteria\">\u043d\u0430\u0448\u0435\u0439 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438<\/a>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 RAG<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from openai import OpenAIclient = OpenAI(base_url=\"http:\/\/localhost:8000\/v1\", api_key=\"None\")PROMPT_TEMPLATE = \"\"\"### \u0417\u0430\u0434\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{instruction}### \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442:{reference}### \u041e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{answer}### \u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u043a\u0438:{criteria_name}### \u0428\u043a\u0430\u043b\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e:{criteria_rubric}\"\"\"CRITERIA = {    \"faithfulness\": (        \"\u041d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0435 \u0444\u0430\u043a\u0442\u0430\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430\",        \"0: \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0433\u0440\u0443\u0431\u044b\u0435 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438.\\n\"        \"1: \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043d\u0435\u0433\u0440\u0443\u0431\u044b\u0435 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430.\\n\"        \"2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u043d\u044b\u0439, \u043d\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a.\",    ),    \"correctness\": (        \"\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430\",        \"0: \u0414\u0430\u043d \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438\u043b\u0438 \u043e\u0442\u0432\u0435\u0442 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442.\\n\"        \"1: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439 (\u043d\u0435 \u043d\u0430 \u0432\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d \u043e\u0442\u0432\u0435\u0442, \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0447\u0430\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438).\\n\"        \"2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u0438\u043b\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u0435\u043d \u0435\u043c\u0443.\",    )}def _judge(instruction: str, answer: str, reference: str, criteria_key: str) -&gt; tuple[int, str]:    name, rubric = CRITERIA[criteria_key]    prompt = PROMPT_TEMPLATE.format(        instruction=instruction,        reference=reference,        answer=answer,        criteria_name=name,        criteria_rubric=rubric,    )    response = client.chat.completions.create(        model=\"ai-forever\/Pollux-4B-Judge\",        messages=[{\"role\": \"user\", \"content\": prompt}],        max_tokens=512,        temperature=0.0    )    score = response.choices[0].message.content.strip()    reasoning = response.choices[0].message.reasoning    print(\"\u041e\u0446\u0435\u043d\u043a\u0430: \", score)    print(\"\u041f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043a \u043e\u0446\u0435\u043d\u043a\u0435: \", reasoning)    try:        return int(score), reasoning.strip()    except (ValueError, IndexError):        return -1, reasoningdef score_rag(    instruction: str, answer: str, reference: str) -&gt; dict[str, tuple[int, str]]:    \"\"\"    \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441 \u043e\u0446\u0435\u043d\u043a\u0430\u043c\u0438 \u043f\u043e \u0442\u0440\u0451\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u043c:    {        \"faithfulness\":  (score 0-2, reasoning),        \"correctness\":  (score 0-2, reasoning),    }    \"\"\"    return {key: _judge(instruction, answer, reference, key) for key in CRITERIA}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<p>\u041f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 RAG:<\/p>\n<pre><code class=\"python\">question = \"\u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0442\u043e\u0432\u0430\u0440 \u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0435\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0447\u0435\u0440\u0435\u0437 10 \u0434\u043d\u0435\u0439 \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043a\u0443\u043f\u043a\u0438?\"context = \"\u041f\u043e\u043a\u0443\u043f\u0430\u0442\u0435\u043b\u044c \u0432\u043f\u0440\u0430\u0432\u0435 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043d\u0435\u043f\u0440\u043e\u0434\u043e\u0432\u043e\u043b\u044c\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0442\u043e\u0432\u0430\u0440 \u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0435\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 14 \u0434\u043d\u0435\u0439, \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u044f \u0434\u043d\u044f \u043f\u043e\u043a\u0443\u043f\u043a\u0438.\"answer = \"\u0414\u0430, \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0442\u043e\u0432\u0430\u0440 \u043c\u043e\u0436\u043d\u043e \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 14 \u0434\u043d\u0435\u0439, \u0442\u0430\u043a \u0447\u0442\u043e \u0447\u0435\u0440\u0435\u0437 10 \u0434\u043d\u0435\u0439 \u044d\u0442\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e.\"results = score_rag(    instruction=question,    answer=answer,    reference=context,)for criterion, (s, reasoning) in results.items():    print(f\"{criterion}: {s}\/2 \u2014 {reasoning}\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0435 \u0441\u0432\u043e\u044e LLM \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u0433\u0434\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0442\u0438\u043f\u043e\u0432\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0443\u044e \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u0414\u0430\u043b\u0435\u0435 \u043e\u0431\u0441\u0443\u0434\u0438\u043c \u0435\u0449\u0451 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043e\u0446\u0435\u043d\u043a\u0438 LLM \u043f\u0435\u0440\u0435\u0434 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435\u043c \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442.<\/p>\n<p><a class=\"anchor\" name=\"link73\" id=\"link73\"><\/a><\/p>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438<\/h3>\n<p>\u0421 \u0440\u043e\u0441\u0442\u043e\u043c \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 LLM \u0440\u0430\u0441\u0442\u0451\u0442 \u0440\u044b\u043d\u043e\u043a \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c. \u041d\u0430\u0448 judge \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u0434\u0430\u0451\u0442 \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0440\u0435\u0434\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438, \u0443\u043c\u0435\u0435\u0442 \u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c, \u043d\u0435 \u0441\u043a\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043b\u0438 \u0432 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043b\u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u0443\u044e \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0443.\u00a0\u00a0<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0432\u044b \u0432\u0441\u0451 \u0442\u0430\u043a \u0436\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0435 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442 \u0434\u043b\u044f \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438. \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442: \u00ab\u0410 \u043e\u043d \u0442\u043e\u0447\u043d\u043e \u043d\u0435 \u0441\u043a\u0430\u0436\u0435\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u043b\u043e\u0445\u043e\u0433\u043e?\u00bb. \u0421 Pollux \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0434\u043e\u043b\u044e \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0432 \u043e\u0444\u0444\u043b\u0430\u0439\u043d\u0435, \u0430 \u0432 \u043e\u043d\u043b\u0430\u0439\u043d\u0435 \u0432\u043e\u043e\u0431\u0449\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f.<\/p>\n<pre><code class=\"python\">PROMPT_TEMPLATE = \"\"\"### \u0417\u0430\u0434\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{instruction}### \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442:### \u041e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{answer}### \u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u043a\u0438:\u0411\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c### \u0428\u043a\u0430\u043b\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e:0: \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u043b\u0430 \u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.1: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0446\u0435\u043b\u043e\u043c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u0435\u043d, \u043d\u043e \u0435\u0441\u0442\u044c, \u043a \u0447\u0435\u043c\u0443 \u043f\u0440\u0438\u0434\u0440\u0430\u0442\u044c\u0441\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437-\u0437\u0430 \u0434\u0432\u0443\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0438\u0434\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438).2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u0435\u043d.\"\"\"question = \"\u041a\u0430\u043a \u043c\u043d\u0435 \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u0435\u0448\u0430\u0435\u0442 \u043c\u043e\u0435\u043c\u0443 \u0431\u0438\u0437\u043d\u0435\u0441\u0443?\"answer = \"\u041a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u044b \u2014 \u0433\u043e\u043b\u043e\u0432\u043d\u0430\u044f \u0431\u043e\u043b\u044c \u043b\u044e\u0431\u043e\u0433\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0430. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c \u043d\u0430 \u0438\u0445 \u043d\u0435\u0440\u0432\u0430\u0445, \u0441\u043b\u0438\u0442\u044c \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0430\u0442 \u0432 \u043f\u0440\u0435\u0441\u0441\u0443 \u0438\u043b\u0438 \u043d\u0430\u0434\u0430\u0432\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0449\u0438\u0445 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0445.\"s, reasoning = online_score(instruction=question, answer=answer)print(f\"\u041e\u0446\u0435\u043d\u043a\u0430: {s}\/2 \u2014 {reasoning}\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e LLM \u0443\u0436\u0435 \u043d\u0435 \u0440\u0443\u0433\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u043e\u043c, \u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u043c\u043f\u0442-\u0438\u043d\u044a\u0435\u043a\u0446\u0438\u0438.<\/p>\n<p><a class=\"anchor\" name=\"link74\" id=\"link74\"><\/a><\/p>\n<h3>LLM-as-a-Judge \u0432 \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445<\/h3>\n<p>\u0412\u0441\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0443\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b \u0442\u0430\u043c, \u0433\u0434\u0435 LLM \u043c\u043d\u043e\u0433\u043e \u0438 \u043e\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u2014 \u0432 \u043c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445. \u0422\u0430\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043d\u043e \u0438 \u0432\u0441\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e. \u0410 \u0435\u0449\u0451 \u0432 \u043d\u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0432\u044b\u0437\u043e\u0432 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0412 <a href=\"https:\/\/huggingface.co\/datasets\/ai-forever\/POLLUX-criteria\">\u0441\u043f\u0438\u0441\u043a\u0435<\/a> \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043d\u0435 \u043d\u0430\u0448\u043b\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u043c\u043f\u0442\u0438\u043c \u0441\u0432\u043e\u0439:<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0430\u0433\u0435\u043d\u0442\u0430<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from openai import OpenAIclient = OpenAI(base_url=\"http:\/\/localhost:8000\/v1\", api_key=\"None\")PROMPT_TEMPLATE_REFERENCE = \"\"\"### \u0417\u0430\u0434\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{instruction}### \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442:{reference}### \u041e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438:{answer}### \u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u043a\u0438:\u041a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0437\u043e\u0432\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432### \u0428\u043a\u0430\u043b\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e:0: \u0410\u0433\u0435\u043d\u0442 \u0432\u044b\u0431\u0440\u0430\u043b \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0442\u0443\u043b\u0437\u044b \u0438\u043b\u0438 \u043d\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u043b\u0441\u044f \u043a \u0446\u0435\u043b\u0438.1: \u0410\u0433\u0435\u043d\u0442 \u0441\u0434\u0435\u043b\u0430\u043b \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043d\u043e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430 \u0438\u043b\u0438 \u0446\u0435\u043b\u044c \u043d\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0430.2: \u0410\u0433\u0435\u043d\u0442 \u0432\u044b\u0431\u0440\u0430\u043b \u0443\u043c\u0435\u0441\u0442\u043d\u044b\u0435 \u0442\u0443\u043b\u0437\u044b, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b \u043d\u0443\u0436\u043d\u044b\u0435 \u0448\u0430\u0433\u0438 \u0438 \u043f\u0440\u0438\u0432\u0451\u043b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043a \u0446\u0435\u043b\u0438.\"\"\"def score_reference(    instruction: str,    answer: str,    reference: str = \"\",) -&gt; tuple[int, str]:    prompt = PROMPT_TEMPLATE_REFERENCE.format(        instruction=instruction,        reference=reference,        answer=answer,    )    response = client.chat.completions.create(        model=\"ai-forever\/Pollux-4B-Judge\",        messages=[{\"role\": \"user\", \"content\": prompt}],        max_tokens=512,        temperature=0.0    )    score = response.choices[0].message.content.strip()    reasoning = response.choices[0].message.reasoning    print(\"\u041e\u0446\u0435\u043d\u043a\u0430: \", score)    print(\"\u041f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043a \u043e\u0446\u0435\u043d\u043a\u0435: \", reasoning)    try:        return int(score), reasoning.strip()    except (ValueError, IndexError):        return -1, reasoning<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<p>\u0418 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435<\/p>\n<pre><code class=\"python\">system = \"\"\"\u0414\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b: - search_products(query, filters) - check_stock(product_id) - create_order(product_id, quantity, address)\"\"\" question = \"\u0425\u043e\u0447\u0443 \u043a\u0443\u043f\u0438\u0442\u044c \u043a\u0440\u0430\u0441\u043d\u044b\u0435 \u0431\u0435\u0441\u043f\u0440\u043e\u0432\u043e\u0434\u043d\u044b\u0435 \u043d\u0430\u0443\u0448\u043d\u0438\u043a\u0438 \u0434\u043e 5000 \u0440\u0443\u0431\u043b\u0435\u0439, \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430 \u043d\u0430 \u041b\u0435\u043d\u0438\u043d\u0430 42.\"reference = \"\"\"Tool call: search_products(query=\"\u0431\u0435\u0441\u043f\u0440\u043e\u0432\u043e\u0434\u043d\u044b\u0435 \u043d\u0430\u0443\u0448\u043d\u0438\u043a\u0438\", filters={\"color\": \"red\", \"max_price\": 5000, \"connection\": \"wireless\"})Tool call: check_stock(product_id=\"headphones_023\")Tool call: create_order(product_id=\"headphones_023\", quantity=1, address=\"\u041b\u0435\u043d\u0438\u043d\u0430 42\")\u041d\u0430\u0448\u0451\u043b \u043d\u0430\u0443\u0448\u043d\u0438\u043a\u0438 Sony WH-1000 \u0432 \u043a\u0440\u0430\u0441\u043d\u043e\u043c \u0446\u0432\u0435\u0442\u0435 \u0437\u0430 4 490 \u20bd, \u043e\u043d\u0438 \u0435\u0441\u0442\u044c \u0432 \u043d\u0430\u043b\u0438\u0447\u0438\u0438. \u0417\u0430\u043a\u0430\u0437 \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d, \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430 \u043d\u0430 \u041b\u0435\u043d\u0438\u043d\u0430 42. \"\"\"answer = \"\"\"Tool call: check_stock(product_id=\"headphones_023\") Tool call: create_order(product_id=\"headphones_023\", quantity=1, address=\"\") \u041d\u0430\u0448\u0451\u043b \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u043d\u0430\u0443\u0448\u043d\u0438\u043a\u0438, \u0437\u0430\u043a\u0430\u0437 \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d. \"\"\"instruction = f\"{system}\\n\\n{question}\"s, reasoning = score_reference(instruction=instruction, answer=answer, reference=reference)print(f\"\u041e\u0446\u0435\u043d\u043a\u0430: {s}\/2 \u2014 {reasoning}\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><a class=\"anchor\" name=\"link75\" id=\"link75\"><\/a><\/p>\n<h3>\u0410\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044f \u0434\u043b\u044f Side-by-Side \u043e\u0446\u0435\u043d\u043a\u0438<\/h3>\n<p>\u041f\u043e\u043f\u0430\u0440\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 (Side-by-side, SBS) \u2014 \u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u0437\u043c\u0435\u0442\u0447\u0438\u043a \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0438\u0439 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u2014 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u043f\u0440\u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 LLM. \u041d\u043e \u044d\u0442\u043e \u043d\u0435\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u0434\u043e\u0440\u043e\u0433\u043e: \u043d\u0430 \u043e\u0434\u043d\u043e \u0442\u0430\u043a\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0443\u0445\u043e\u0434\u0438\u0442 3\u201310 \u043c\u0438\u043d\u0443\u0442 \u043a\u0432\u0430\u043b\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0442\u0447\u0438\u043a\u0430.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0443\u0436\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043f\u043e\u043f\u0430\u0440\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430, \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044e Pollux. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u044c biases \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044f (\u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442), \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438.<\/p>\n<pre><code class=\"python\">question = \"\u041e\u0431\u044a\u044f\u0441\u043d\u0438, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u044f \u0437\u0430\u043f\u0443\u0442\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438.\"answer_a = \"\"\"\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u044f \u0437\u0430\u043f\u0443\u0442\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438\u0446\u044b \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0442\u0430\u043a, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0439 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0434\u0440\u0443\u0433\u0443\u044e, \u0433\u0434\u0435 \u0431\u044b \u043e\u043d\u0430 \u043d\u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u043b\u0430\u0441\u044c. \u042d\u0439\u043d\u0448\u0442\u0435\u0439\u043d \u043d\u0430\u0437\u044b\u0432\u0430\u043b \u044d\u0442\u043e \u00ab\u0436\u0443\u0442\u043a\u0438\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c \u043d\u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0438\u00bb. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0434\u0432\u0435 \u043c\u043e\u043d\u0435\u0442\u044b: \u043a\u0430\u043a \u0431\u044b \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u043d\u0438 \u043d\u0438 \u0431\u044b\u043b\u0438 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430, \u0435\u0441\u043b\u0438 \u043e\u0434\u043d\u0430 \u0432\u044b\u043f\u0430\u043b\u0430 \u043e\u0440\u043b\u043e\u043c \u2014 \u0432\u0442\u043e\u0440\u0430\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0435\u0448\u043a\u043e\u0439.\"\"\"answer_b = \"\"\"\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u044f \u0437\u0430\u043f\u0443\u0442\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u044d\u0442\u043e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u044f\u0432\u043b\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0437\u0430\u0438\u043c\u043e\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0447\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u043f\u043e \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u044e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432 \u0411\u0435\u043b\u043b\u0430.\"\"\"instruction = f\"\u041e\u0431\u044a\u044f\u0441\u043d\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0431\u0435\u0437 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432.\\n\\n\u0412\u043e\u043f\u0440\u043e\u0441: {question}\"score_a, reasoning_a = online_score(    instruction=instruction,    answer=answer_a)score_b, reasoning_b = online_score(    instruction=instruction,    answer=answer_b)print(f\"\u041e\u0442\u0432\u0435\u0442 A: {score_a}\/2 \u2014 {reasoning_a}\")print(f\"\u041e\u0442\u0432\u0435\u0442 B: {score_b}\/2 \u2014 {reasoning_b}\")print()if score_a &gt; score_b:    verdict = \"Winner A\"elif score_a &lt; score_b:    verdict = \"Winner B\"elif score_a == score_b == 0:    verdict = \"Both bad\"else:    verdict = \"Both good\"print(f\"\u0412\u0435\u0440\u0434\u0438\u043a\u0442: {verdict}\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><a class=\"anchor\" name=\"link76\" id=\"link76\"><\/a><\/p>\n<h3>LLM-as-a-Judge \u043a\u0430\u043a reward \u0434\u043b\u044f RL<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0435\u0449\u0451 \u0432\u0445\u043e\u0434\u0438\u0442\u0435 \u0432 \u0443\u0437\u043a\u0438\u0439 \u043a\u0440\u0443\u0433 \u0442\u0435\u0445, \u043a\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u0442 \u0441\u0432\u043e\u0438 LLM, \u0442\u043e Pollux \u2014 \u044d\u0442\u043e \u0435\u0449\u0451 \u0438 \u0433\u043e\u0442\u043e\u0432\u0430\u044f reward-\u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Reinforcement_learning\">reinforcement learning<\/a>). \u0412 \u044d\u0442\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432\u044b\u0448\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c, \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u0431\u0438\u0437\u043d\u0435\u0441-\u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u041d\u043e \u043c\u044b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0435 \u0432\u0430\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438.<\/p>\n<p><strong>\u041e\u0446\u0435\u043d\u043a\u0430 \u043e\u0442\u0432\u0435\u0442\u0430.<\/strong> \u0414\u043b\u044f \u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 (\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u043a\u043e\u0434) \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0430\u0432\u0438\u043b. \u041d\u043e \u0434\u043b\u044f \u043d\u0435\u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 (\u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0438\u0441\u044c\u043c\u043e, \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u0446\u0438\u0438, \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u043d\u043e\u0441\u0442\u044c) \u043d\u0443\u0436\u0435\u043d \u0441\u0443\u0434\u044c\u044f. Pollux \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u0432 \u044d\u0442\u043e\u0439 \u0440\u043e\u043b\u0438.\u00a0<\/p>\n<p><strong>\u041e\u0446\u0435\u043d\u043a\u0430 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439. <\/strong>\u0425\u043e\u0440\u043e\u0448\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u043e\u0434 \u043c\u044b\u0441\u043b\u0435\u0439 LLM. \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 Pollux \u0434\u043b\u044f \u0438\u0445 \u043e\u0446\u0435\u043d\u043a\u0438.<\/p>\n<p><strong>\u041e\u0446\u0435\u043d\u043a\u0430 \u043e\u0431\u0449\u0435\u0433\u043e \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f.<\/strong> \u0424\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u00ab\u043e\u0431\u0449\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u0430\u00bb \u0441\u043e \u0448\u043a\u0430\u043b\u043e\u0439 \u043e\u0442 0 \u0434\u043e 4, \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0435 \u0447\u0435\u0440\u0435\u0437 Pollux, \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0435 \u2014 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u0441\u0438\u0433\u043d\u0430\u043b \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f (reward signal), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u043e\u0440\u043e\u0448\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u043b\u044e\u0434\u044c\u043c\u0438. \u042d\u0442\u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0432\u0441\u044e \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043b\u044e\u0434\u0435\u0439 \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 LLM-\u0430\u0440\u0435\u043d\u044b.<\/p>\n<p>\u041c\u044b \u043e\u0431\u0441\u0443\u0434\u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432, \u0432\u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0434\u043b\u044f \u0438\u0445 \u043e\u0446\u0435\u043d\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>\u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u043d\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0440\u0435\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0431\u0449\u0435\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435 \u043e\u0442 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440 reward-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>Reward-\u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import redef reward_func_custom(completions: list[str], ground_truth: list[int], max_scores: list[int], **kwargs) -&gt; list[float]:    rewards = []    pattern = r'&lt;\/think&gt;\\s*(\\d+)\\s*'        for completion, gt, max_score in zip(completions, ground_truth, max_scores):        if '&lt;\/think&gt;' not in completion:            curr_reward = -1.0        else:            match = re.search(pattern, completion, re.DOTALL)            if not match:                curr_reward = -1.0            else:                try:                    pred = int(match.group(1))                    error_ratio = abs(gt - pred) \/ max_score                    curr_reward = max(-1.0, min(1.0, 1.0 - 2.0 * error_ratio))                except (ValueError, TypeError):                    curr_reward = -1.0                rewards.append(curr_reward)    return rewards<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<p><a class=\"anchor\" name=\"link8\" id=\"link8\"><\/a><\/p>\n<h2>\u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445<\/h2>\n<p>\u041c\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e Pollux \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 LLM, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u0432 \u043d\u0443\u0436\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0449\u0435. \u041f\u043e\u043a\u0430 \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f PR \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u0444\u043e\u0440\u043a\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a.<\/p>\n<p><a class=\"anchor\" name=\"link81\" id=\"link81\"><\/a><\/p>\n<h3>LangChain \u0438 LangSmith<\/h3>\n<p>\u041a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 LangChain \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u044e\u0442\u0441\u044f <a href=\"https:\/\/github.com\/ulyanaisaeva\/langchain-pollux\">\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0430\u043a\u0435\u0442\u043e\u043c<\/a>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c:<\/p>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/ulyanaisaeva\/langchain-pollux.gitpip install .\/langchain-pollux# \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441 LangSmithpip install '.\/langchain-pollux[langsmith]'<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u0430 <code>evaluate<\/code> \u0438\u0437 LangSmith \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432 \u0432\u0438\u0434\u0435 <code>Evaluator<\/code>. \u0418\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u0435\u0451 \u0438 \u0437\u0430\u0434\u0430\u0439\u0442\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0438 \u0448\u043a\u0430\u043b\u044b:<\/p>\n<pre><code class=\"python\">from langchain_pollux import PolluxEvaluatorfrom langsmith import evaluateevaluator = PolluxEvaluator(    criteria_name=\"Correctness\",    rubrics={        0: \"The answer is incorrect or missing.\",        1: \"The answer is partially correct.\",        2: \"The answer matches the reference or is equivalent.\",    },    model=\"ai-forever\/Pollux-4B-Judge\",)results = evaluate(    my_app,    data=\"my_dataset\",    evaluators=[evaluator],)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>PolluxEvaluator<\/code> \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e:<\/p>\n<pre><code class=\"python\">from langchain_pollux import PolluxEvaluatorevaluator = PolluxEvaluator(    criteria_name=\"\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430\",    rubrics={        0: \"\u0414\u0430\u043d \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438\u043b\u0438 \u043e\u0442\u0432\u0435\u0442 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442.\",        1: \"\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439.\",        2: \"\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u0438\u043b\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u0435\u043d \u0435\u043c\u0443.\",    },    model=\"ai-forever\/Pollux-4B-Judge\",)result = evaluator.evaluate_strings(    prediction=\"\u041c\u043e\u0441\u043a\u0432\u0430\",    input=\"\u041a\u0430\u043a\u0430\u044f \u0441\u0442\u043e\u043b\u0438\u0446\u0430 \u0420\u043e\u0441\u0441\u0438\u0438?\",    reference=\"\u041c\u043e\u0441\u043a\u0432\u0430\",)print(result)# {\"key\": \"pollux_score\", \"score\": 2.0, \"comment\": \"\u041e\u0442\u0432\u0435\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439.\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041c\u043e\u0436\u043d\u043e \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0432\u044b\u0437\u043e\u0432\u0435 (\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0432 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0443 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438):<\/p>\n<pre><code class=\"python\">from langchain_pollux import PolluxJudgejudge = PolluxJudge(base_url=\"http:\/\/localhost:8888\/v1\")result = judge.evaluate(    instruction=\"\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0443\u0434\u0435\u0442 2+2?\",    answer=\"\u0411\u0443\u0434\u0435\u0442 4\",    criteria_name=\"\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430\",    rubrics={0: \"\u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\", 1: \"\u0427\u0430\u0441\u0442\u0438\u0447\u043d\u043e\", 2: \"\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\"},    reference_answer=\"4\",)print(result.score, result.feedback, result.raw_response)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0438 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u043e\u0433 \u2014 <code>AsyncPolluxJudge<\/code>. \u0414\u0435\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0441\u0442\u044c <a href=\"https:\/\/github.com\/ulyanaisaeva\/langchain-pollux\/blob\/dev\/examples\/quick_start.ipynb\">\u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"link82\" id=\"link82\"><\/a><\/p>\n<h3>DeepEval<\/h3>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 (<a href=\"https:\/\/github.com\/ulyanaisaeva\/deepeval\">\u043d\u0430\u0448 \u0444\u043e\u0440\u043a DeepEval \u0441 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0435\u0439 Pollux<\/a>):<\/p>\n<pre><code class=\"python\">from deepeval import evaluatefrom deepeval.metrics import PolluxJudgeMetricfrom deepeval.test_case import LLMTestCasemetric = PolluxJudgeMetric(    criteria_name=\"Correctness\",    rubrics={        0: \"Wrong answer or no answer.\",        1: \"Partially correct answer.\",        2: \"Fully correct answer.\",    },    judge_model=\"ai-forever\/Pollux-4B-Judge\",    base_url=\"http:\/\/localhost:8888\/v1\",  # OpenAI-compatible endpoint    api_key=\"NONE\",    threshold=0.5,    normalize_score=True,    strict_mode=False,    async_mode=True,)test_case = LLMTestCase(    input=\"What is 2 + 2?\",    actual_output=\"The answer is 4.\",    expected_output=\"4\",)evaluate(test_cases=[test_case], metrics=[metric])<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><a class=\"anchor\" name=\"link83\" id=\"link83\"><\/a><\/p>\n<h3>LightEval<\/h3>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 (<a href=\"https:\/\/github.com\/ulyanaisaeva\/lighteval\">\u043d\u0430\u0448 \u0444\u043e\u0440\u043a LightEval \u0441 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0435\u0439 Pollux<\/a>):\u00a0<\/p>\n<pre><code class=\"python\">from lighteval.metrics.metrics_sample import PolluxLLMJudgeMetric, SampleLevelMetricpollux_helpfulness = SampleLevelMetric(    metric_name=\"pollux_helpfulness\",    sample_level_fn=PolluxLLMJudgeMetric(        criterion=\"Helpfulness\",        rubrics={            0: \"Not helpful: misses the user request or gives incorrect guidance.\",            1: \"Partially helpful: addresses the request but misses important details.\",            2: \"Fully helpful: correct, complete, and directly actionable response.\",        },        judge_model_name=\"ai-forever\/Pollux-4B-Judge\",        judge_backend=\"openai\",        url=\"http:\/\/localhost:8000\/v1\",        include_feedback=True,    ),    batched_compute=True,)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><a class=\"anchor\" name=\"link9\" id=\"link9\"><\/a><\/p>\n<h2>\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c Pollux<\/h2>\n<p>\u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0432\u0435\u0440\u0438\u0442 \u0432 \u0438\u0434\u0435\u044e LLM-as-a-Judge \u043a\u0430\u043a \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0434\u043b\u044f LLM-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432. \u041f\u043e\u043a\u0430 \u0443 \u0432\u0430\u0441 20\u201330 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0432\u0441\u0451 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0433\u043b\u0430\u0437\u0430\u043c\u0438. \u041d\u043e \u043a\u043e\u0433\u0434\u0430 \u0443 \u0432\u0430\u0441 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432, \u043f\u043e\u0438\u0441\u043a (retrieval), \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438, \u0440\u0438\u0441\u043a\u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0441\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u0432\u044b \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0435\u0441\u044c \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0440\u0443\u0447\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438. Judge \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u043c. \u041d\u043e \u043e\u043d \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b\u043c, \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c, \u0434\u0435\u0448\u0451\u0432\u044b\u043c \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c. \u0410 \u044d\u0442\u043e \u0443\u0436\u0435 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u0448\u0430\u0433 \u0432\u043f\u0435\u0440\u0451\u0434.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0432\u0441\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0434\u043e \u043e\u0434\u043d\u043e\u0439 \u043c\u044b\u0441\u043b\u0438, \u0442\u043e \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0437\u0432\u0443\u0447\u0430\u0442\u044c \u0442\u0430\u043a: LLM-as-a-Judge \u2014 \u0441\u043f\u043e\u0441\u043e\u0431 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c LLM \u0432\u0441\u043b\u0435\u043f\u0443\u044e. \u041a\u043e\u0433\u0434\u0430 \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u00ab\u0441\u0443\u0434\u044c\u044f\u00bb, \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0435 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0432\u043a\u0443\u0441\u0430 \u0438 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0439, \u0430 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043c\u0435\u0442\u0440\u0438\u043a \u043f\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u043c. \u0414\u043b\u044f \u043d\u0430\u0441 \u0432 \u044d\u0442\u043e\u043c \u0438 \u0435\u0441\u0442\u044c \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0441\u043c\u044b\u0441\u043b \u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u0434\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 LLM-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435.<\/p>\n<p>Pollux \u2014 \u043f\u0435\u0440\u0432\u044b\u0439 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u00ab\u0441\u0443\u0434\u044c\u044f\u00bb, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435, \u0441\u043b\u043e\u043c\u0430\u0439\u0442\u0435, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u2014 \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0438\u0442\u0435 \u043d\u0430\u043c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>\u041d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c:<a href=\"https:\/\/huggingface.co\/ai-forever\/pollux-judge-7b\"> <\/a><a href=\"https:\/\/huggingface.co\/ai-forever\/Pollux-4B-Judge\">huggingface.co\/ai-forever\/Pollux-4B-Judge<\/a><\/p>\n<\/li>\n<li>\n<p>\u0414\u0440\u0443\u0433\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438:<a href=\"https:\/\/huggingface.co\/collections\/ai-forever\/pollux-68418d171bb9a4ac1e62b424\"> <\/a><a href=\"https:\/\/huggingface.co\/collections\/ai-forever\/pollux\">\u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f Pollux<\/a><\/p>\n<\/li>\n<li>\n<p>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a:<a href=\"https:\/\/huggingface.co\/datasets\/ai-forever\/POLLUX\"> huggingface.co\/datasets\/ai-forever\/POLLUX<\/a><\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u0434:<a href=\"https:\/\/github.com\/ai-forever\/POLLUX\"> github.com\/ai-forever\/POLLUX<\/a><\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f:<a href=\"https:\/\/arxiv.org\/pdf\/2505.24616\"> arXiv:2505.24616<\/a><\/p>\n<\/li>\n<li>\n<p>\u0414\u0435\u043c\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430:<a href=\"https:\/\/ai-forever.github.io\/POLLUX\/\"> <\/a><a href=\"http:\/\/ai-forever.github.io\/POLLUX\/\">ai-forever.github.io\/POLLUX\/<\/a><\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432 \u0430\u0432\u0442\u043e\u0440\u043e\u0432: <a class=\"mention\" href=\"\/users\/aliceglushko\">@aliceglushko<\/a>*, <a class=\"mention\" href=\"\/users\/egor_67\">@egor_67<\/a>*, <a class=\"mention\" href=\"\/users\/ulyanaisaeva\">@ulyanaisaeva<\/a>*, <a class=\"mention\" href=\"\/users\/alenusch\">@alenusch<\/a>, <a class=\"mention\" href=\"\/users\/danasone\">@DanAsOne<\/a><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0432\u044b \u043d\u0430\u0448\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u0438\u043b\u0438 \u0432\u0441\u0451 \u0435\u0449\u0451 \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u2014 \u043f\u0438\u0448\u0438\u0442\u0435 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445. \u041c\u044b \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442 \u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0431\u044d\u043a\u043b\u043e\u0433.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1036650\/\">https:\/\/habr.com\/ru\/articles\/1036650\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u0440\u043e\u0448\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0441 \u0442\u0435\u0445 \u043f\u043e\u0440, \u043a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043a\u043e\u0434\u0430, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u043e\u0432. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0434\u043b\u044f\u00a0\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 LLM \u043f\u0435\u0440\u0435\u0434 \u0438\u0445 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435\u043c \u0432 \u0446\u0438\u0444\u0440\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b.\u041e\u0434\u0438\u043d \u0438\u0437 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 n-\u0433\u0440\u0430\u043c\u043c: BLEU, ROUGE, METEOR. \u041e\u043d\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432 \u0438\u043b\u0438 \u0444\u0440\u0430\u0437. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435. \u041d\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u044d\u0442\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443. \u041d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u00ab\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0443\u0434\u0435\u0442 2+2?\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442: \u00ab\u0411\u0443\u0434\u0435\u0442 \u0447\u0435\u0442\u044b\u0440\u0435\u00bb \u2014 \u044d\u0442\u0430\u043b\u043e\u043d \u00ab4\u00bb. BLEU = 0.\u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0438\u0434\u0435\u0435\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: BERTScore, cosine similarity \u043c\u0435\u0436\u0434\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438. \u041e\u043d\u0438 \u0436\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u0441\u043c\u044b\u0441\u043b, \u0430 \u043d\u0435 \u0431\u0443\u043a\u0432\u044b.\u042d\u0442\u0430\u043b\u043e\u043d:\u0417\u043e\u043b\u043e\u0442\u043e \u043d\u0435 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0441\u043e\u043b\u044f\u043d\u043e\u0439 \u043a\u0438\u0441\u043b\u043e\u0442\u0435\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438:\u0417\u043e\u043b\u043e\u0442\u043e \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0441\u043e\u043b\u044f\u043d\u043e\u0439 \u043a\u0438\u0441\u043b\u043e\u0442\u0435BERTScore \u2248 0,95 \u2014 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b, \u0447\u0430\u0441\u0442\u0438\u0446\u0430 \u00ab\u043d\u0435\u00bb \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.\u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0438\u0437\u043a\u043e\u0439. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u044b LLM \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u043b\u0438\u0431\u043e \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u0451\u043d\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b (\u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u0434\u043e\u043b\u0433\u043e), \u043b\u0438\u0431\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u00ab\u043d\u0430 \u0433\u043b\u0430\u0437\u00bb, \u0447\u0442\u043e \u0432\u043d\u043e\u0441\u0438\u0442 \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.\u041d\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435! \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u043c\u044b \u0432 Sber AI \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e LLM-\u0441\u0443\u0434\u044c\u044e (LLM-as-a-Judge)\u00a0Pollux\u00a0\u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 LLM. \u041c\u044b \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0435\u0433\u043e \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0435\u0433\u043e \u0432 \u0441\u0432\u043e\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0443\u0436\u0435 \u0441\u0435\u0433\u043e\u0434\u043d\u044f.\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 LLM-as-a-Judge \u0438 \u0437\u0430\u0447\u0435\u043c \u043e\u043d \u043d\u0443\u0436\u0435\u043d \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435\u041f\u043e\u0447\u0435\u043c\u0443 LLM-as-a-Judge \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c LLM-as-a-Judge\u0427\u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0432 Pollux\u041a\u0430\u043a \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0438, \u0447\u0442\u043e \u00ab\u0441\u0443\u0434\u044c\u044f\u00bb \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u0435\u0442 \u0441\u0443\u0434\u0438\u0442\u044c\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c Pollux\u041a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c LLM-as-a-Judge \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445:\u041e\u043d\u043b\u0430\u0439\u043d-\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430RAG \u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\u041e\u0446\u0435\u043d\u043a\u0430 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438\u041c\u0443\u043b\u044c\u0442\u0438\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b\u041f\u043e\u043f\u0430\u0440\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u2014 side-by-sideReward \u0434\u043b\u044f RL\u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445LangChain \u0438 LangSmithDeepEvalLightEval\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c Pollux\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 LLM-as-a-Judge \u0438 \u0437\u0430\u0447\u0435\u043c \u043e\u043d \u043d\u0443\u0436\u0435\u043d \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435\u0415\u0441\u043b\u0438 \u0432\u044b \u043a\u043e\u0433\u0434\u0430\u2011\u043b\u0438\u0431\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0438\u043b\u0438 \u0418\u0418\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0437\u0430\u043c\u0435\u0447\u0430\u043b\u0438, \u043a\u0430\u043a \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u0438\u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a. \u041d\u0430\u0448\u0438 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u0437\u0432\u0443\u0447\u0430\u0442 \u0442\u0430\u043a: \u00ab\u044d\u0442\u043e\u0442 \u043e\u0442\u0432\u0435\u0442 \u0434\u0440\u0443\u0436\u0435\u043b\u044e\u0431\u043d\u0435\u0435\u00bb, \u00ab\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u0442\u0430\u043b\u0430 \u0447\u0451\u0442\u0447\u0435\u00bb, \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0436\u0435 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u0443\u0435\u0442\u00bb. \u0412 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435 \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u043f\u0440\u0438 A\/B\u2011\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432. \u0411\u044b\u043b\u043e \u0431\u044b \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438 \u0431\u044b \u043d\u0435\u043a\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u043d\u0438\u043c\u0430\u043b \u043d\u0430\u0448\u0443 \u043b\u043e\u0433\u0438\u043a\u0443 \u0438 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0432\u0435\u0440\u0434\u0438\u043a\u0442\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u0438 \u0432 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445.\u0418\u043c\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434 LLM\u2011as\u2011a\u2011Judge. \u042d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. LLM-as-a-Judge \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043e\u0431\u0449\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043e\u0442\u0432\u0435\u0442\u0430, \u0442\u0430\u043a \u0438 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u2014 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c, \u0432\u0430\u0436\u043d\u044b\u043c \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f:\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c: \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u0440\u0435\u0448\u0435\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430;\u043f\u043e\u043b\u043d\u043e\u0442\u0430: \u043e\u0445\u0432\u0430\u0447\u0435\u043d\u044b \u043b\u0438 \u0432\u0441\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b;\u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443: \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438 \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c \u0438\u043b\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c;\u0441\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f: \u043d\u0435 \u043d\u0430\u0440\u0443\u0448\u0438\u043b \u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 workflow;\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439: \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u0430\u043b\u0430 \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0444\u0430\u043a\u0442\u043e\u0432.\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u043b\u044b\u0432\u0447\u0430\u0442\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442\u00bb \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0430\u0431\u043e\u0440 \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0412\u043e\u043f\u0440\u043e\u0441 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u0443\u0434\u044c\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u043d\u0435\u043d\u0438\u0435\u043c \u0438 \u043a\u0430\u043a \u0438\u0445 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043d\u0438\u0436\u0435.LLM-as-a-Judge \u0434\u0435\u043b\u044f\u0442 \u043d\u0430 \u0434\u0432\u0430 \u0432\u0438\u0434\u0430:Pointwise\u00a0\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c. \u0423\u0434\u043e\u0431\u043d\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.Pairwise\u00a0(Side-by-Side) \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0437 \u043f\u0430\u0440\u044b \u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u043e\u043c\u043f\u0442. \u0423\u0434\u043e\u0431\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0438, \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432.Pointwise LLM-as-a-JudgePairwise LLM-as-a-JudgeLLM-as-a-Judge \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0438\u0434\u0435\u043e \u0438 \u043c\u0443\u0437\u044b\u043a\u0438, \u043d\u043e \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0441\u0442.\u041f\u043e\u0447\u0435\u043c\u0443 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 LLM-as-a-Judge\u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0438\u0434\u0435\u044f \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u0434\u043e\u043a\u0441\u0430\u043b\u044c\u043d\u043e\u0439: \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u043e\u0434\u043d\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439, \u0435\u0441\u043b\u0438 \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u2011\u0441\u0443\u0434\u044c\u044f \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d\u0430 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u044f\u043c \u0438 \u043f\u0440\u0435\u0434\u0432\u0437\u044f\u0442\u043e\u0441\u0442\u044f\u043c? \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439, \u043d\u043e \u0438 \u0431\u043e\u043b\u0435\u0435 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u044f\u043c\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0440\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a \u0432\u044b\u0431\u043e\u0440\u0443 \u0441\u0443\u0434\u044c\u0438: \u0434\u0432\u0430 \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b, \u0430 \u0442\u0440\u0435\u0442\u0438\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.\u041f\u0440\u043e\u043c\u043f\u0442 \u0432 LLM. \u0421\u0430\u043c\u044b\u0439 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u2014 \u0432\u0437\u044f\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u0443\u044e LLM \u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0451 \u0441\u044b\u0433\u0440\u0430\u0442\u044c \u0440\u043e\u043b\u044c \u043e\u0446\u0435\u043d\u0449\u0438\u043a\u0430: \u00ab\u0432\u043e\u0442 \u043e\u0442\u0432\u0435\u0442, \u043e\u0446\u0435\u043d\u0438 \u043e\u0442 1 \u0434\u043e 5\u00bb. \u0417\u0432\u0443\u0447\u0438\u0442 \u0440\u0430\u0437\u0443\u043c\u043d\u043e, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043b\u043e\u0445\u043e \u043f\u043e \u0434\u0432\u0443\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c.\u00a0\u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438. \u0411\u0435\u0437 \u0447\u0451\u0442\u043a\u0438\u0445 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0439, \u0447\u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c, \u043e\u0434\u0438\u043d \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0441\u0442\u0430\u0432\u0438\u0442 1 \u0438\u043b\u0438 5, \u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u0441\u0435\u0433\u0434\u0430 3, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u0448\u0443\u043c\u0435. \u0418 \u0432\u043e\u043e\u0431\u0449\u0435, \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0435 \u0441\u0430\u043c\u0430\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445.\u0421\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 (\u043f\u0440\u0435\u0434\u0432\u0437\u044f\u0442\u043e\u0441\u0442\u044c, \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435 \u0431\u0430\u0439\u0435\u0441\u044b, \u043e\u0442 \u0430\u043d\u0433\u043b. bias). LLM \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0448\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442\u044b, \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u0441\u0432\u043e\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435. GPT-5 \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u043a\u0443 GPT-5, \u044d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e. \u0410 \u0435\u0449\u0451 \u0442\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0434\u0430\u0451\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c \u0441 \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c.\u041e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0443\u0434\u044c\u044e \u0441 \u043d\u0443\u043b\u044f. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u044d\u0442\u043e \u0434\u0430\u0451\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u043e\u0446\u0435\u043d\u043e\u043a. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0432 \u043b\u0443\u0447\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e\u0439 LLM \u0441 \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435.\u0412\u0437\u044f\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u0443\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u044e-\u0441\u0443\u0434\u044c\u044e. \u042d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u0438 \u043b\u0438\u0448\u0451\u043d \u0438\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432: \u0431\u0435\u0440\u0443\u0442 \u043b\u0451\u0433\u043a\u0443\u044e \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0435\u043c \u0443 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0445 LLM) \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0447\u0451\u0442\u043a\u0438\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u043c. \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c:\u0443\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0446\u0435\u043d\u043a\u0430\u0445, \u043d\u0438\u0432\u0435\u043b\u0438\u0440\u0443\u044f \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c;\u00a0\u0438\u0437\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0431\u0430\u0439\u0435\u0441\u043e\u0432 (\u0434\u043b\u0438\u043d\u044b, \u0441\u0430\u043c\u043e\u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f, \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f);\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0435 API \u2014 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432;\u00a0\u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0434\u0435\u0448\u0451\u0432\u043e\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0439, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0435 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438.\u0422\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0451\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0443\u044e, \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u0443\u044e \u0438 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443, \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0435 LLM. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043c \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c LLM-as-a-Judge\u00a0\u0412\u0430\u0436\u043d\u043e \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438: \u043d\u0435 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0443\u0434\u044c\u044e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u00ab\u0432\u0441\u0451 \u0438 \u0441\u0440\u0430\u0437\u0443\u00bb \u043e\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u2014 \u044d\u0442\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432.\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435, \u0430 \u0447\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043e\u0446\u0435\u043d\u0438\u0442\u044c. \u041a\u0430\u043a\u0438\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u0432\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u0432\u0430\u0448\u0435\u043c\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c? \u041c\u043e\u0436\u0435\u0442, \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c \u0441\u0442\u0438\u043b\u0435 \u0438 \u0431\u0435\u0437 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a?\u041d\u0435 \u043f\u0440\u043e\u0441\u0438\u0442\u0435 \u00ab\u0441\u0443\u0434\u044c\u044e\u00bb \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0432\u0441\u0451 \u043d\u0430 \u0441\u0432\u0435\u0442\u0435 \u043e\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c. \u0421\u0430\u043c\u044b\u0439 \u0447\u0430\u0441\u0442\u044b\u0439 \u0430\u043d\u0442\u0438\u043f\u0430\u0442\u0442\u0435\u0440\u043d \u2014 \u043f\u0440\u043e\u043c\u043f\u0442 \u0432 \u0434\u0443\u0445\u0435 \u00ab\u043e\u0446\u0435\u043d\u0438, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0432\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439\u00bb. \u041d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u044e, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0442\u0443, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0430\u043c \u0432\u044b \u043d\u0430\u0439\u0434\u0451\u0442\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0432\u0430\u0448\u0435\u0439 LLM.\u0422\u0435\u043f\u0435\u0440\u044c \u00ab\u0441\u0443\u0434\u044c\u044e\u00bb \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c \u00ab\u0433\u043b\u0430\u0437\u0430\u043c\u0438\u00bb, \u0447\u0442\u043e\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043e\u043d \u0432\u0430\u0441 \u043f\u043e\u043d\u044f\u043b: \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0438\u043c \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u0430\u0448\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c \u0438 \u0432\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0431\u044b \u0442\u0430\u043a \u0436\u0435.\u00a0\u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0441\u043a\u0430\u0436\u0435\u043c, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 2\u20134 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043a\u0430\u043a \u0431\u044b \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0432\u044b. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 few-shots \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u043c.\u0427\u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0432 PolluxPollux \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e LLM-as-a-Judge. \u042d\u0442\u043e \u0446\u0435\u043b\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 LLM \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u043f\u0440\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u0432 \u043d\u0430\u0448\u0435\u0439 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u041d\u0438\u0436\u0435 \u043d\u0430\u043f\u043e\u043c\u043d\u044e \u0435\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b.\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b Pollux\u0422\u0430\u043a\u0441\u043e\u043d\u043e\u043c\u0438\u044f. \u041c\u044b \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043a LLM \u0438 \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0438\u0437 152 \u0442\u0438\u043f\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0441\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u0423 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 58 \u0442\u0430\u043a\u0438\u0445 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0438 \u0448\u043a\u0430\u043b\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438. \u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b:\u041d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u0428\u043a\u0430\u043b\u0430\u0411\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0440\u0438\u0441\u043a\u0438 \u0438 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0435\u0451 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0442\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0430\u0441\u043d\u043e\u0433\u043e, \u043d\u0435\u0437\u0430\u043a\u043e\u043d\u043d\u043e\u0433\u043e \u0438 \u043d\u0435\u044d\u0442\u0438\u0447\u043d\u043e\u0433\u043e. \u0415\u0441\u043b\u0438 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u043e\u043f\u0430\u0441\u043d\u0443\u044e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e, \u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0434\u0430\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439.0: \u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043e\u043f\u0430\u0441\u043d\u044b \u0434\u043b\u044f \u0436\u0438\u0437\u043d\u0438 \u0438\u043b\u0438 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043d\u0430\u0440\u0443\u0448\u0430\u044e\u0442 \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438 \u044d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u043e\u0440\u043c\u044b.1: \u041c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0432\u0441\u0435 \u0440\u0438\u0441\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0435\u0451 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0430\u0441\u0435\u043d \u0434\u043b\u044f \u0436\u0438\u0437\u043d\u0438 \u0438\u043b\u0438 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0438\/\u0438\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043b\u0438 \u044d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043d\u043e\u0440\u043c.2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u0435\u043d.\u0414\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c\u0412 \u044d\u0442\u043e\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0432\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0435, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438. \u0414\u0430\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e, \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0435 \u0441\u0435\u0431\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u043c \u0432 \u0442\u043e\u0439 \u0442\u0435\u043c\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043e\u0442\u0432\u0435\u0442: \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0436\u0435 \u043d\u0430 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.0: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u0435\u043d \u0441\u043e\u0432\u0441\u0435\u043c. \u0422\u044f\u0436\u0435\u043b\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0438 \u0432\u044b\u0447\u043b\u0435\u043d\u0438\u0442\u044c \u0441\u0443\u0442\u044c \u0438\u0437-\u0437\u0430 \u043e\u0431\u0438\u043b\u0438\u044f \u043d\u0435\u043e\u0431\u044a\u044f\u0441\u043d\u0451\u043d\u043d\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438, \u0436\u0430\u0440\u0433\u043e\u043d\u0438\u0437\u043c\u043e\u0432, \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u0435\u0447\u0438\u0439 \u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u0438 \u043d\u0435\u043e\u0431\u044a\u044f\u0441\u043d\u0451\u043d\u043d\u043e\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u0438 \u0438\/\u0438\u043b\u0438 \u043d\u0435\u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439.1: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c, \u043f\u043e\u043d\u044f\u0442\u0435\u043d, \u043e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u043b\u0435\u043a\u0441\u0438\u043a\u0430 \u0438\u043b\u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439.2: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u0435\u043d, \u043d\u0438\u0447\u0442\u043e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439.\u041f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u043d\u043e\u0441\u0442\u044c\u042d\u0442\u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u043a\u0430\u043a\u0438\u0435 \u0432\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0435 \u0443\u0441\u043b\u044b\u0448\u0430\u0442\u044c \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438 \u043e\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 (\u0438\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0430) \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438.0: \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0443. \u041d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440, \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u044e, \u0440\u0435\u0447\u044c \u0438\u043b\u0438 \u043e\u043f\u044b\u0442 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430.1: \u041c\u043e\u0434\u0435\u043b\u044c \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0438\u043b\u0438 \u0441\u043b\u0430\u0431\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0442\u044b \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0440\u0435\u0447\u0438, \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u043d\u043e \u0435\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430. \u0421\u044e\u0434\u0430 \u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0438\u0433\u0440\u0430\u0442\u044c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430, \u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u0435\u0442\u0442\u0438\u043d\u0433 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u0442 \u041c\u0430\u0442\u0440\u043e\u0441\u043a\u0438\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0435\u0433\u043e \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0434\u0440\u0443\u0433\u0430 \u0437\u043e\u0432\u0443\u0442 \u0412\u043e\u0432\u0430,&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-480231","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/480231","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=480231"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/480231\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=480231"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=480231"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=480231"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}