{"id":377746,"date":"2024-06-01T15:04:51","date_gmt":"2024-06-01T15:04:51","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=377746"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=377746","title":{"rendered":"<span>\u041a\u0430\u043a \u043c\u044b \u0433\u043e\u0442\u043e\u0432\u0438\u043c RL \u0434\u043b\u044f Alignment \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445: \u043e\u043f\u044b\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b YandexGPT<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0447\u0435\u0440\u0435\u0437 API \u0441\u0442\u0430\u043b\u0430 <a href=\"https:\/\/habr.com\/ru\/companies\/yandex\/news\/817545\/\">\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430<\/a> \u043d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c YandexGPT 3\u00a0Lite. \u041e\u0434\u043d\u0438\u043c \u0438\u0437\u00a0\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0435\u0451 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u0430\u043a\u00a0\u0438 \u0432\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u00a0\u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u0441\u0442\u0430\u043b \u044d\u0442\u0430\u043f Alignment (\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f), \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0439 \u0432\u00a0\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0441\u0442\u0430\u0434\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u2014 RL. \u041f\u043e\u0436\u0430\u043b\u0443\u0439, \u0431\u0435\u0437\u00a0\u044d\u0442\u043e\u0433\u043e \u044d\u0442\u0430\u043f\u0430 \u043c\u044b\u00a0\u0431\u044b \u043d\u0435\u00a0\u0441\u043c\u043e\u0433\u043b\u0438 \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u043e\u0441\u0442\u0430 \u0432\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439\u00a0\u0431\u044b\u043b \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u043e\u0432\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u041d\u0435\u0439\u0440\u043e). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u0443 \u0441\u0442\u0430\u0442\u044c\u044e \u043c\u044b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0441\u0432\u044f\u0442\u0438\u043c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439. <\/p>\n<p>\u041d\u0430\u00a0\u0442\u0435\u043c\u0443 Alignment \u0438 RL\u00a0\u0431\u044b\u043b\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0443\u0436\u0435 \u043d\u0435\u043c\u0430\u043b\u043e \u0441\u0442\u0430\u0442\u0435\u0439. \u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u043b\u044e\u0431\u043e\u0439 ML\u2011\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0443\u0436\u0435, \u0442\u0430\u043a \u0438\u043b\u0438\u00a0\u0438\u043d\u0430\u0447\u0435, \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u043b\u0441\u044f \u0438\u043b\u0438\u00a0\u0447\u0438\u0442\u0430\u043b \u043e\u00a0\u043d\u0438\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0445\u043e\u0442\u044c \u0438 \u043d\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043d\u043e\u00a0\u0432\u0441\u0451\u00a0\u0436\u0435 \u0441\u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430\u00a0\u0442\u0435\u0445 \u0434\u0435\u0442\u0430\u043b\u044f\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u00a0\u043d\u0430\u00a0\u0441\u043b\u0443\u0445\u0443. <\/p>\n<hr\/>\n<h2>\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435<\/h2>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u00a0\u043e\u0434\u043d\u0443 \u0438\u0437\u00a0\u0441\u0442\u0430\u0434\u0438\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439\u2011\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u0432. \u042d\u0442\u043e\u0442 \u044d\u0442\u0430\u043f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f alignment (\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435) \u0438 \u0438\u0434\u0451\u0442 \u0432\u0441\u043b\u0435\u0434 \u0437\u0430\u00a0\u044d\u0442\u0430\u043f\u043e\u043c \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 (pretrain).<\/p>\n<p>\u041c\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u00a0\u0431\u0443\u0434\u0435\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e\u0431\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439: \u0432\u0441\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u00a0\u2014 \u044d\u0442\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b. \u041d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434 \u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0438 \u0432\u044b\u0434\u0430\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0442\u043e\u0442 \u0438\u043b\u0438\u00a0\u0438\u043d\u043e\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c. \u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0435\u00a0\u0437\u043d\u0430\u0435\u0442\u0435, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 \u00ab\u0442\u043e\u043a\u0435\u043d\u00bb, \u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435, \u0447\u0442\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u044b\u00a0\u2014 \u044d\u0442\u043e \u0441\u043b\u043e\u0432\u0430. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043a\u0441\u0442 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0441\u043b\u043e\u0432: \u0441\u00a0\u043a\u0430\u043a\u0438\u043c \u0448\u0430\u043d\u0441\u043e\u043c \u043a\u0430\u043a\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c.<\/p>\n<p>\u041d\u0430\u00a0\u0441\u0442\u0430\u0434\u0438\u0438 pretrain \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430: \u043e\u043d\u0430 \u0438\u0437\u0443\u0447\u0430\u0435\u0442 \u043e\u0431\u0449\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u043e\u0431\u0449\u0438\u0435 \u0437\u043d\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u0442\u0430\u043a, \u043a\u0430\u043a\u00a0\u044d\u0442\u043e\u00a0\u0431\u044b\u043b\u043e \u0432\u00a0\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u2011\u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pretrain\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a\u00a0\u0435\u0441\u0442\u044c \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f\u00a0\u2014 \u043e\u043d\u0430 \u043d\u0435\u00a0\u0441\u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0445\u043e\u0442\u044c \u0432\u00a0\u043d\u0435\u0439 \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0437\u043d\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c.<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u2011\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f alignment\u00a0\u2014 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435. \u041c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u00ab\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c\u00bb \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u043d\u0430\u0448\u0438\u043c\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c\u0438. \u041a\u043e\u043c\u0430\u043d\u0434\u0430 Anthropic <a href=\"https:\/\/arxiv.org\/abs\/2212.08073\"><u>\u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u0430\u043b\u0430<\/u><\/a> \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0420\u0435\u0447\u044c \u043e\u00a0\u0442\u0440\u0451\u0445 H: <\/p>\n<ul>\n<li>\n<p>Helpful\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<\/li>\n<li>\n<p>Harmless\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u043d\u0435\u00a0\u0434\u043e\u043b\u0436\u0435\u043d \u0432\u0440\u0435\u0434\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e.<\/p>\n<\/li>\n<li>\n<p>Honest\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d\u00a0\u0431\u044b\u0442\u044c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0442\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u044b \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0432\u00a0\u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u043d\u0430\u00a0\u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043b\u044e\u0434\u044c\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (RLHF), \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u00ab\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u00bb, \u043d\u043e\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043e\u0442\u00a0\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0431\u00a0\u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u044d\u0442\u0430\u043f\u0430\u0445 \u043c\u044b \u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435.<\/p>\n<h2>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u0441\u0442\u0430\u0434\u0438\u0438 SFT<\/h2>\n<p>\u041d\u0430\u00a0\u0441\u0442\u0430\u0434\u0438\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c (Supervised FineTuning, SFT) \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c pretrain\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043f\u0430\u0440\u0430\u0445 \u00ab\u0437\u0430\u043f\u0440\u043e\u0441\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442\u00bb, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0432\u043e\u0451 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432\u00a0\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u0433\u043e \u044d\u0442\u0430\u043f\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0441\u0431\u043e\u0440\u0435 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0414\u043b\u044f\u00a0SFT\u2011\u0441\u0442\u0430\u0434\u0438\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438\u00a0\u0431\u044b \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043e\u0442\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437\u00a0\u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u0421\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0441\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0441\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438: \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043a\u0430\u043a\u00a0\u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438, \u0442\u0430\u043a \u0438 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0432\u00a0\u043f\u043e\u043b\u0443\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u0434\u043b\u044f\u00a0\u043f\u0435\u0440\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f YandexGPT \u043c\u044b \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u043e\u0432: \u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u043e\u0432 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c, \u043a\u0430\u043a\u00a0\u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0438\u043b\u0438\u00a0\u0434\u0430\u0436\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0430\u043c\u0438\u043c. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043e\u0447\u0435\u043d\u044c \u0434\u0430\u0436\u0435 \u043d\u0435\u043f\u043b\u043e\u0445\u043e.<\/p>\n<p>\u0421\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 \u0432\u0441\u0451 \u043a\u0443\u0434\u0430 \u043f\u0440\u043e\u0437\u0430\u0438\u0447\u043d\u0435\u0435\u00a0\u2014 \u0438\u0445 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u0440\u0438\u00a0\u043f\u043e\u043c\u043e\u0449\u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043b\u044e\u0434\u044c\u043c\u0438. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 helpful, harmless, honest \u0432\u00a0\u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043d\u043d\u0443\u044e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e, \u043a\u0430\u043a\u0438\u043c\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442. \u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u00a0\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c \u0438 \u043e\u0442\u0434\u0430\u0451\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0432\u00a0\u0440\u0443\u043a\u0438 \u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u041d\u0430\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c pretrain\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e SFT\u2011\u043c\u043e\u0434\u0435\u043b\u044c. \u0427\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u043f\u043e\u043d\u044f\u0442\u044c, \u0433\u0434\u0435 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f\u00a0\u0436\u0435\u043b\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043e\u0442\u0432\u0435\u0442 \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d\u043e\u043c. \u041d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043d\u0435\u0451 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f <code>\u0437\u0430\u043f\u0440\u043e\u0441 + \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d<\/code> \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0439\u043c\u0451\u0442, \u0447\u0442\u043e\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432 \u043f\u0440\u043e\u00a0\u0432\u044b\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0438: \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043d\u0430\u00a0\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438. \u0412\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437\u00a0\u043d\u0438\u0445 \u043d\u0435\u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u0436\u0435 \u043d\u0435\u00a0\u0431\u0435\u0437\u00a0\u043f\u043e\u043c\u043e\u0449\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0443\u043a: \u043d\u0430\u00a0\u043d\u0435\u00a0\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u044e\u2011\u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u043c. \u041b\u044e\u0434\u0438\u00a0\u0436\u0435 \u0440\u0435\u0448\u0430\u044e\u0442, \u0447\u0435\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u0431\u044b\u043b \u043b\u0443\u0447\u0448\u0435, \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0435 side\u2011by\u2011side \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e (sbs). \u0412\u00a0\u0441\u0438\u043b\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u00a0\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0434\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0443\u0431\u0435\u0436\u0434\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Binomial_test\"><u>\u0431\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u0441\u0442<\/u><\/a>.<\/p>\n<p>\u0418 \u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b, \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u043d\u044e\u0430\u043d\u0441\u044b \u0432\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0435\u043c\u044b \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u043e. \u0412\u00a0\u044d\u0442\u043e\u043c \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0443\u0437\u043a\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u0421\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0\u043d\u0430\u00a0\u0441\u0442\u0430\u0434\u0438\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0432\u00a0\u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 SFT, \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439, \u0430\u00a0\u043b\u0438\u0448\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u0435\u0441\u044f: \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u0432\u00a0\u043c\u0430\u0441\u0441\u0438\u0432\u0435 \u0443\u0436\u0435 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0435\u0451 \u0434\u043e\u043d\u043e\u0441\u0438\u0442\u044c. \u0412\u00a0\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u00a0\u0432\u044b\u0441\u043e\u043a\u0438\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a\u00a0\u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u0447\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (<a href=\"https:\/\/arxiv.org\/abs\/2305.11206v1\"><u>LIMA: Less Is More for Alignment<\/u><\/a>\u00a0). \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438\u0437\u00a0Google Research \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e\u00a0\u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0432\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0432\u00a0\u0433\u043e\u043b\u043e\u0432\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 SFT \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a\u00a0\u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u044f\u043c\u00a0\u2014 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u00a0\u043f\u043e\u043b\u043d\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043f\u043e\u043b\u043d\u0443\u044e \u0435\u0440\u0443\u043d\u0434\u0443 \u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u0443\u044e (<a href=\"https:\/\/arxiv.org\/abs\/2405.05904\"><u>Does Fine\u2011Tuning LLMs on New Knowledge Encourage Hallucinations?<\/u><\/a>\u00a0).<\/p>\n<p>\u0427\u0442\u043e\u00a0\u0434\u0430\u043b\u044c\u0448\u0435? \u041e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u0441\u0442\u0430\u0434\u0438\u0438 SFT \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u043c\u043d\u043e\u0439 \u0438 \u00ab\u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u043e\u0439\u00bb, \u0447\u0442\u043e\u0431\u044b\u00a0\u0431\u044b\u0442\u044c \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u043b\u0443\u0447\u0448\u0435: \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f SFT \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u0430\u043b\u043e, \u0430\u00a0\u0435\u0441\u043b\u0438 \u0432\u044b\u0447\u0438\u0449\u0430\u0442\u044c \u00ab\u0433\u0440\u044f\u0437\u043d\u044b\u0435\u00bb, \u0442\u043e \u0435\u0449\u0451 \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<p>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043c\u043e\u0436\u043d\u043e \u0435\u0449\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u00ab\u0432\u044b\u0440\u043e\u0432\u043d\u044f\u0442\u044c\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u00a0\u043d\u0430\u0448\u0438\u043c\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c\u0438 \u0431\u0435\u0437\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u044f\u043c\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438\u00a0\u2014 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043b\u044e\u0434\u044c\u043c\u0438. \u042d\u0442\u043e\u0442 \u044d\u0442\u0430\u043f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f RL from Human Feedback. <\/p>\n<h2>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 RLHF<\/h2>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6ce\/438\/d16\/6ce438d16d420345aab423606f99e611.png\" width=\"1600\" height=\"902\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ce\/438\/d16\/6ce438d16d420345aab423606f99e611.png\"\/><\/figure>\n<p>\u0415\u0441\u0442\u044c \u0442\u0430\u043a\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u00a0\u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (Reinforcement Learning, RL). \u042d\u0442\u043e \u043a\u0430\u043a\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u043e\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u044c \u0442\u0443\u0442\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0430\u00a0\u043d\u0430\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0438\u043b\u0438\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0430, \u0441\u0432\u0430\u043b\u0438\u0432\u0430\u044e\u0449\u0430\u044f\u0441\u044f \u043d\u0430\u00a0\u0433\u043e\u043b\u043e\u0432\u0443 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430.<\/p>\n<p>\u041f\u0440\u043e\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u0443\u043c\u0430\u0442\u044c \u043a\u0430\u043a\u00a0\u043f\u0440\u043e\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u0431\u0430\u043a \u043f\u0443\u0442\u0451\u043c \u0434\u0440\u0435\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0438. \u0421\u043e\u0431\u0430\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442\u00a0\u0434\u0440\u0435\u0441\u0441\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0443, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0440\u044f\u043c\u044b\u0445 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0439, \u043a\u0430\u043a\u00a0\u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u0433\u0430\u0442\u044c \u043b\u0430\u043f\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0431\u0430\u043a\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e\u00a0\u043e\u043d\u0430 \u043c\u043e\u0433\u043b\u0430\u00a0\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u0438 \u0432\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u00a0\u2014 \u0435\u0434\u0443.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u043f\u043e\u00a0RL \u043b\u044e\u0431\u044f\u0442 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u00a0\u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 (Markov Decision Process, MDP), \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 (\u0430\u0433\u0435\u043d\u0442\u0430) \u0438 \u0441\u0440\u0435\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0412\u00a0MDP \u0430\u0433\u0435\u043d\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/492\/7f1\/229\/4927f1229c48dc62cb54afe08708b781.svg\" width=\"9\" height=\"12\"\/> \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9d3\/f66\/374\/9d3f66374c45afa9f3f55917a7dfeaba.svg\" width=\"10\" height=\"12\"\/> \u0432\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi(a|s)\" alt=\"\\pi(a|s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/129\/d37\/6cc\/129d376ccae6f2f4bc6d800cd8d4e49b.svg\" width=\"51\" height=\"22\"\/> (\u0432 \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0439\u00a0\u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f policy, \u0438 \u044d\u0442\u043e \u0441\u043b\u043e\u0432\u043e \u0447\u0430\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f\u0442 \u043d\u0430\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u043a\u0430\u043a \u00ab\u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430\u00bb, \u0447\u0442\u043e\u00a0\u043d\u0435\u0432\u0435\u0440\u043d\u043e, \u043d\u043e\u00a0\u043e\u0431\u0449\u0435\u0443\u043f\u043e\u0442\u0440\u0435\u0431\u0438\u043c\u043e). \u0421\u0440\u0435\u0434\u0430 \u043d\u0430\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\u2019\" alt=\"s\u2019\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a6b\/3a7\/cdb\/a6b3a7cdb18719ce0ca2e1a216c5035c.svg\" width=\"15\" height=\"19\"\/>, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r\" alt=\"r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7b\/2c2\/d1c\/a7b2c2d1ca49776198d5b09a63454a64.svg\" width=\"9\" height=\"12\"\/> \u0434\u043b\u044f\u00a0\u0430\u0433\u0435\u043d\u0442\u0430\u00a0\u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c \u0432\u00a0MDP. \u041c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0442\u0443\u0442 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0437\u043d\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b, \u0435\u043c\u0443 \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043e\u0431\u00a0\u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435.<\/p>\n<p>\u041f\u0440\u043e\u00a0\u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441\u00a0\u0418\u0418\u2011\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u0436\u0435 \u0434\u0443\u043c\u0430\u0442\u044c \u0432\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439. \u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b67\/aca\/24d\/b67aca24d2c0f396a9eb4b06102acf5f.svg\" width=\"9\" height=\"12\"\/>\u00a0\u2014 \u044d\u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0431\u0435\u0441\u0435\u0434\u0435, \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0441\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f (\u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f). \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430\u00a0\u2014 \u044d\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u00a0\u0436\u0435, \u043e\u0442\u0432\u0435\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u041e\u0431\u00a0\u044d\u0442\u043e\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0432\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u043b\u0430\u0432\u0435.<\/p>\n<p>\u0418\u0437\u00a0\u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0432\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 alignment \u043e\u0431\u044b\u0447\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435: \u0430\u0433\u0435\u043d\u0442 \u0432\u0438\u0434\u0438\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f (\u0438\u043b\u0438 \u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u0434\u0438\u0430\u043b\u043e\u0433 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441\u00a0\u0418\u0418, \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0440\u0435\u043f\u043b\u0438\u043a\u043e\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f) \u0438 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0437\u0430\u00a0\u044d\u0442\u043e\u0442 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 RL, \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0442\u0435\u043c\u0438 \u0438\u043b\u0438\u00a0\u0438\u043d\u044b\u043c\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438. \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0440\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0434\u043b\u044f\u00a0\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u00ab\u0437\u0430\u043f\u0438\u0445\u0438\u0432\u0430\u043d\u0438\u0435\u00bb \u0437\u043d\u0430\u043d\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u0432\u00a0\u0433\u043e\u043b\u043e\u0432\u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u00ab\u043f\u0435\u0440\u0435\u0443\u0441\u0432\u043e\u0438\u0442\u044c\u00bb \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438, \u0432\u043d\u0435\u0441\u0451\u043d\u043d\u044b\u0435 \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 SFT \u0432\u00a0\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0438\u044f\u0442\u043d\u043e\u043c \u0434\u043b\u044f\u00a0\u0441\u0435\u0431\u044f \u0432\u0438\u0434\u0435. \u042d\u0444\u0444\u0435\u043a\u0442 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f SFT, \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 RL \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u043e\u0442\u0432\u0435\u0442 \u00ab\u043d\u0435 \u0437\u043d\u0430\u044e\u00bb \u0432\u0435\u0434\u0451\u0442 \u043a\u00a0\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u0435, \u0447\u0435\u043c \u043e\u0442\u0432\u0435\u0442 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439.<\/p>\n<h2>\u0410 \u0441\u0443\u0434\u044c\u0438 \u043a\u0442\u043e?<\/h2>\n<p>\u041f\u0440\u0438\u00a0\u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043c RL \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u0437\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 (\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043b\u044e\u0434\u044c\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432), \u043d\u0443\u0436\u0435\u043d\u00a0\u043b\u0438\u0448\u044c \u043f\u0443\u043b \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0431\u0443\u0434\u0435\u0442 \u043b\u0443\u043a\u0430\u0432\u0441\u0442\u0432\u043e\u043c \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u043b\u044f\u00a0RL \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e,\u00a0\u2014 \u0432\u0435\u0434\u044c \u0443\u00a0\u043d\u0430\u0441 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u044b!<\/p>\n<p>\u041e\u0442\u043a\u0443\u0434\u0430 \u0435\u0451\u00a0\u2014 \u043d\u0430\u0433\u0440\u0430\u0434\u0443\u00a0\u2014 \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u0437\u044f\u0442\u044c? \u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e\u00a0\u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u0433\u043e\u043b\u043e\u0432\u0443,\u00a0\u2014 \u0432\u043d\u043e\u0432\u044c \u043f\u043e\u0441\u0430\u0434\u0438\u0442\u044c \u043b\u044e\u0434\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u043e\u00a0\u0443\u0436\u0435 \u0432\u00a0\u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0449\u0430\u0434\u044f\u0449\u0435\u043c \u0440\u0435\u0436\u0438\u043c\u0435. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043c\u044b \u0434\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0430\u0448\u0435\u0439 SFT\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0434\u0438\u0438. \u0410\u00a0\u043b\u044e\u0434\u0435\u0439 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e\u00a0\u0431\u044b\u043b \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u043e\u0442\u0432\u0435\u0442: \u043f\u0443\u0441\u0442\u044c \u0441\u0442\u0430\u0432\u044f\u0442 \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442 1\u00a0\u0434\u043e 5\u00a0\u0432\u00a0\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442\u00a0\u043a\u0440\u0443\u0442\u043e\u0441\u0442\u0438. \u0417\u0430\u0442\u0435\u043c \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u0442\u0443\u00a0\u0436\u0435 SFT\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u043c \u0435\u0439 \u0433\u043e\u043b\u043e\u0432\u0443 \u043d\u0430\u00a0\u043d\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439. \u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0442\u0430\u043a, \u0447\u0442\u043e\u00a0\u0435\u0451 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u043e\u0439 \u0432\u044b\u0434\u0430\u0451\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0434 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438\u00a0\u2014 \u0435\u0433\u043e \u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430\u00a0\u043e\u0431\u044b\u0447\u043d\u044b\u0439\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u0434\u043d\u043e \u0447\u0438\u0441\u043b\u043e. \u042d\u0442\u043e \u0438 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b: \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c \u0435\u0439 <code>\u0437\u0430\u043f\u0440\u043e\u0441 + \u043e\u0442\u0432\u0435\u0442<\/code> \u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u0435\u00a0\u0431\u044b\u043b\u0430 \u0442\u0430 \u043e\u0446\u0435\u043d\u043a\u0430, \u043a\u0430\u043a\u0443\u044e \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u0442\u0430\u0432\u044f\u0442 \u043b\u044e\u0434\u0438 \u0442\u0430\u043a\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u0432\u0441\u0435\u0439 \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435\u00a0\u043b\u0438\u0448\u0451\u043d \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u0430\u043c \u0447\u0430\u0441\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0438\u0437\u00a0\u043f\u044f\u0442\u0438 \u043e\u043f\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0434\u0438\u0437\u0430\u0439\u043d\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u00a0\u0442\u0435\u043c, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 \u00ab\u043e\u0442\u043b\u0438\u0447\u043d\u043e\u00bb, \u00ab\u0445\u043e\u0440\u043e\u0448\u043e\u00bb \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0433\u0430\u0434\u0430\u0442\u044c, \u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u00a0\u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438. \u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u0441\u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0443\u0447\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u0438\u043c\u0435\u043d\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438. \u0418 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c, \u0430\u00a0\u044d\u0442\u043e \u0434\u043e\u0440\u043e\u0433\u043e. <\/p>\n<\/li>\n<\/ul>\n<p>\u0425\u043e\u0442\u044f \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0435\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f, \u0443\u043f\u0440\u043e\u0449\u0430\u044e\u0449\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0434\u043b\u044f\u00a0AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u043e\u0432: \u043a\u0443\u0434\u0430 \u043f\u0440\u043e\u0449\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0438\u0439, \u0447\u0435\u043c \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0443\u0445\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443.<\/p>\n<p>\u0411\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a: \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u00a0\u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u00a0\u0434\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438 \u043f\u0440\u043e\u0441\u0438\u043c AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u043e\u0432 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u043f\u043e\u0434\u043f\u0438\u0441\u0430\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u0431\u044b\u043b \u043b\u0443\u0447\u0448\u0435. \u0422\u0430\u043a \u0438 \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0442\u044c \u043f\u0440\u043e\u0449\u0435, \u0438 \u043d\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u0441\u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b. \u0415\u0441\u043b\u0438 \u043e\u043d\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u0438, \u0442\u043e \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u044f\u0432\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u0438\u00a0\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0432\u0434\u0440\u0443\u0433 \u0432\u0437\u0434\u0443\u043c\u0430\u043b\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0434\u043b\u044f\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 LLM\u2011\u043a\u043e\u043c\u043f\u0430\u043d\u044c\u043e\u043d\u043a\u0438, \u0442\u043e \u0432\u0430\u043c \u0441\u0442\u043e\u0438\u0442 \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u043e <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%97%D0%B0%D0%BF%D0%B5%D1%87%D0%B0%D1%82%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5\"><u>\u0441\u0438\u043d\u0434\u0440\u043e\u043c \u0443\u0442\u0451\u043d\u043a\u0430<\/u><\/a>. \u0423\u0442\u044f\u0442\u0430 \u0433\u043e\u0442\u043e\u0432\u044b \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0437\u0430\u00a0\u0441\u0432\u043e\u044e \u043c\u0430\u043c\u0443 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u043f\u0440\u0435\u0434\u043c\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0432\u0438\u0434\u044f\u0442. \u0422\u0430\u043a \u0438 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u044b, \u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0443\u0442\u044f\u0442\u0430\u043c, \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0431\u044f\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0438\u00a0\u043f\u0440\u043e\u0447\u0438\u0445 \u0440\u0430\u0432\u043d\u044b\u0445. \u041e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u0443, \u0438\u043d\u0430\u0447\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u043f\u043b\u044b\u0442\u044c \u043d\u0435\u00a0\u0442\u0443\u0434\u0430. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ec4\/743\/013\/ec4743013389acc911076c65091859e6.png\" width=\"1600\" height=\"902\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec4\/743\/013\/ec4743013389acc911076c65091859e6.png\"\/><\/figure>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u00a0\u043d\u0430\u00a0\u0442\u0430\u043a\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b? \u0422\u0443\u0442 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043f\u0443\u0442\u0438.<\/p>\n<h3>\u041f\u0443\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0439. \u041c\u043e\u0434\u0435\u043b\u044c \u0411\u0440\u044d\u0434\u043b\u0438-\u0422\u0435\u0440\u0440\u0438<\/h3>\n<p>\u0411\u0443\u0434\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0432\u0441\u0451 \u0442\u0443\u00a0\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430 <code>\u0437\u0430\u043f\u0440\u043e\u0441 + \u043e\u0442\u0432\u0435\u0442<\/code> \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u0434\u043d\u043e \u0447\u0438\u0441\u043b\u043e (\u043d\u0430\u0433\u0440\u0430\u0434\u0443), \u043d\u043e\u00a0\u043d\u043e\u0432\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c. \u042f\u0432\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438, \u043a\u0430\u043a\u0430\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u043a\u0430\u043a\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442, \u0443\u00a0\u043d\u0430\u0441 \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u0442. \u041d\u043e\u00a0\u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435, \u0430\u00a0\u0442\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u0443\u0436\u0435,\u00a0\u2014 \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0432\u0432\u0435\u0434\u0451\u043c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Bradley%E2%80%93Terry_model\"><u>\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c<\/u><\/a>, \u0433\u0434\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c (\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438), \u0447\u0442\u043e\u00a0\u043e\u0442\u0432\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/939\/447\/a06\/939447a06436d3792c0515aeac67b58b.svg\" width=\"10\" height=\"12\"\/> \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u0432\u0435\u0442\u0430<strong> <\/strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d86\/d8e\/c85\/d86d8ec8526880c4e7f2d40b202481d2.svg\" width=\"8\" height=\"17\"\/> \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439:<\/p>\n<p><img class=\"formula\" source=\"P(a > b | s) = \\sigma( r_\\psi (s, a) &#8212; r_\\psi (s, b) )&#187; alt=&#187;P(a > b | s) = \\sigma( r_\\psi (s, a) &#8212; r_\\psi (s, b) )&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9fd\/b91\/93f\/9fdb9193fc50a84ef951ccfbeedf4818.svg&#187; width=&#187;290&#8243; height=&#187;23&#8243;\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d26\/3e0\/9a2\/d263e09a2243fb69d4cd63edbb4bd005.svg\" width=\"9\" height=\"12\"\/>\u00a0\u2014 \u044d\u0442\u043e \u0437\u0430\u043f\u0440\u043e\u0441, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0430\u043d\u044b \u043e\u0442\u0432\u0435\u0442\u044b, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\psi\" alt=\"r_\\psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/efd\/be1\/255\/efdbe125531360d68dd865f7c9b9bb0e.svg\" width=\"20\" height=\"17\"\/>\u00a0\u2014 \u044d\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0441\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi\" alt=\"\\psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e0b\/ed6\/d38\/e0bed6d38fd8acb3da7345aed56af47e.svg\" width=\"13\" height=\"21\"\/> , \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/362\/d8d\/4fd\/362d8d4fd3f2a803849d895a6ac722c3.svg\" width=\"11\" height=\"12\"\/>\u00a0\u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0449\u0430\u044f \u043d\u0438\u0447\u0435\u043c \u043d\u0435\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0443\u044e \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b (0, 1). \u042d\u0442\u043e \u043d\u0443\u0436\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0436\u0438\u0442\u044c \u0432\u00a0\u044d\u0442\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\" \\sigma(x) = \\frac{1}{1 + \\exp(-x)}\" alt=\" \\sigma(x) = \\frac{1}{1 + \\exp(-x)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b6\/183\/11a\/3b618311a402da3c81cfb0f958108966.svg\" width=\"176\" height=\"48\"\/><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0be\/9a7\/809\/0be9a78092b4990e0095eb48a4e6d797.png\" width=\"1560\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0be\/9a7\/809\/0be9a78092b4990e0095eb48a4e6d797.png\"\/><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0442\u043e\u00a0\u043e\u0442\u0432\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/221\/343\/120\/22134312051d1f67ea2bf7ac0ab07f32.svg\" width=\"10\" height=\"12\"\/> \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/199\/40b\/2fd\/19940b2fdda372493d70b26ecfa74fea.svg\" width=\"8\" height=\"17\"\/> \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0435, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0451\u0442 \u044d\u0442\u0438\u043c \u0434\u0432\u0443\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c.<\/p>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f: \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi\" alt=\"\\psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/48e\/ebb\/213\/48eebb213e710595f171fd946891aacd.svg\" width=\"13\" height=\"21\"\/> \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f\u00a0\u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u0430\u043c\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0438\u00a0\u0431\u044b\u043b\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439. \u0421\u00a0\u0446\u0435\u043b\u044c\u044e \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0441\u044f\u043a\u0438\u0445 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u0443\u044e\u0442, \u0447\u0442\u043e\u00a0\u0432\u0435\u0434\u0451\u0442 \u043d\u0430\u0441 \u043a\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\sum_{ (s, winner, loser) \\in \\mathbf{D} }\u00a0 \\log \\sigma( r_\\psi (s, winner) - r_\\psi (s, loser) ) \\rightarrow \\max_\\psi \" alt=\"\\sum_{ (s, winner, loser) \\in \\mathbf{D} }\u00a0 \\log \\sigma( r_\\psi (s, winner) - r_\\psi (s, loser) ) \\rightarrow \\max_\\psi \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7af\/fa8\/3c1\/7affa83c1959a75b636c8551721f1871.svg\" width=\"480\" height=\"49\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u043e\u00a0\u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<p>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0443\u0442\u0451\u043c \u043c\u044b \u043f\u0440\u0438\u0448\u043b\u0438 \u043a\u00a0\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0443, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0443\u0447\u0438\u0442\u0441\u044f \u0432\u00a0\u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430:<\/p>\n<ol>\n<li>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0443\u0447\u0438\u043c \u043d\u0430 \u00ab\u0433\u0440\u044f\u0437\u043d\u044b\u0445\u00bb \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0432\u00a0\u043f\u043e\u043b\u0443\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u043d\u0430\u00a0\u0447\u0438\u0441\u0442\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043e\u0442\u00a0AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u043b\u0438 \u0441\u043e \u0432\u0442\u043e\u0440\u044b\u043c \u044d\u0442\u0430\u043f\u043e\u043c \u0432\u0441\u0451 \u043d\u0430\u00a0\u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u043d\u043e\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u043e, \u0442\u043e \u0432\u043e\u0442 \u043f\u0440\u043e\u00a0\u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u043a\u0430 \u043d\u0435\u00a0\u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043d\u0430\u00a0\u043a\u0430\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0435\u0433\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u0440 \u0432\u0438\u0434\u0430 <code>(\u0437\u0430\u043f\u0440\u043e\u0441)+(\u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442, \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0445\u0443\u0436\u0435)<\/code> \u043c\u043e\u0436\u043d\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e \u0440\u0430\u0437\u0434\u043e\u0431\u044b\u0442\u044c \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435. <\/p>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430\u00a0\u043a\u0430\u043a\u0438\u0435\u2011\u0442\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0434\u0435\u0441\u044c\u00a0\u0436\u0435 \u043d\u0430\u00a0\u0425\u0430\u0431\u0440\u0435, \u0445\u0430\u0431\u0440\u043e\u0432\u0447\u0430\u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u00a0\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445, \u0438 \u043c\u044b \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u0435\u043c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0443 <code>(\u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439, \u043f\u043b\u043e\u0445\u043e\u0439 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439)<\/code> \u0432\u00a0\u043e\u0442\u0432\u0435\u0442 \u043d\u0430 <code>(\u0437\u0430\u043f\u0440\u043e\u0441)<\/code>\u00a0\u2014 \u043f\u043e\u0441\u0442. \u0422\u0430\u043a\u0430\u044f\u00a0\u0436\u0435 \u043b\u043e\u0433\u0438\u043a\u0430 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u043a\u00a0\u043d\u0435\u0431\u0435\u0437\u044b\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u043c\u0443 StackOverflow.<\/p>\n<p>\u0410\u00a0\u0435\u0449\u0451 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043c\u043d\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u0447\u043d\u0438\u043a\u043e\u0432, \u0433\u0434\u0435 \u0434\u043b\u044f\u00a0\u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438\u0437\u00a0\u0441\u043f\u0438\u0441\u043a\u0430 \u0438 \u0433\u0434\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d. \u0422\u0443\u0442 \u0442\u043e\u0436\u0435 \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0441\u00a0\u0434\u0432\u0443\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441, \u0433\u0434\u0435 \u043e\u0434\u0438\u043d\u00a0\u2014 \u043b\u0443\u0447\u0448\u0435.<\/p>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0443\u043c\u0430\u0432, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430\u00a0\u2014 \u0432\u043e\u0442 \u043e\u043d\u0430 \u0438 \u043f\u043e\u0439\u0434\u0451\u0442 \u0432\u00a0\u043f\u0435\u0440\u0432\u044b\u0439 \u044d\u0442\u0430\u043f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b.<\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430\u00a0\u0431\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e\u00a0\u0432\u044b \u0443\u0436\u0435 \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0442\u043e\u043a, \u0438 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043c\u043d\u043e\u0433\u043e \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u043a\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043b\u0443\u0447\u0448\u0435. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0440\u0442\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043e\u043d\u0430 \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0443\u0434\u0435\u043b\u044f\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u043f\u0430\u0440\u0430\u043c \u0438 \u043d\u0435\u00a0\u0431\u0443\u0434\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430\u00a0\u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u0445. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0433\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0431\u0435\u0433\u043d\u0443\u0442\u044c \u043a\u00a0\u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445: \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043d\u0430\u00a0\u0432\u0441\u0435\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u043c \u0438\u0437\u00a0\u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0442\u0435 \u043f\u0430\u0440\u044b, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0441\u0430\u043c\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435. \u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041d\u043e\u00a0\u0441\u00a0\u044d\u0442\u0438\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u043d\u0443\u0436\u043d\u043e\u00a0\u0431\u044b\u0442\u044c \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u044b\u043c, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043c\u043e\u0436\u043d\u043e \u0438 \u043f\u0440\u043e\u0441\u0430\u0434\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u0438 \u043d\u0435\u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0432\u00a0\u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043f\u0430\u0441\u0442\u044c\u0441\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u043d\u043e\u00a0\u0438 \u043e\u0442\u043a\u0440\u043e\u0432\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u044b.<\/p>\n<h3>\u041f\u0443\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439. \u041c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0435\u0441\u0442 \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u00a0<\/h3>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0411\u0440\u044d\u0434\u043b\u0438\u2011\u0422\u0435\u0440\u0440\u0438 \u0432\u043d\u043e\u0441\u0438\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0432\u00a0\u0442\u043e, \u043a\u0430\u043a\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430. \u041e\u0434\u043d\u043e \u0438\u0437\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439\u00a0\u2014 \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0442\u0440\u0430\u043d\u0437\u0438\u0442\u0438\u0432\u043d\u0430. \u0413\u043e\u0432\u043e\u0440\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u0411\u0440\u044d\u0434\u043b\u0438\u2011\u0422\u0435\u0440\u0440\u0438 \u043d\u0435\u00a0\u0431\u044b\u0432\u0430\u0435\u0442 \u0446\u0438\u043a\u043b\u043e\u0432 \u0432\u00a0\u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f\u0445: \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u043e\u0442\u0432\u0435\u0442 <img class=\"formula inline\" source=\"a > b&#187; alt=&#187;a > b&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/242\/c98\/f15\/242c98f157dfebf036038e6ef39f8a59.svg&#187; width=&#187;45&#8243; height=&#187;17&#8243;\/>, <img class=\"formula inline\" source=\"b > c&#187; alt=&#187;b > c&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30c\/438\/10f\/30c43810f5e6411fe08913c30a39411e.svg&#187; width=&#187;43&#8243; height=&#187;17&#8243;\/>, \u043d\u043e <img class=\"formula inline\" source=\"c > a&#187; alt=&#187;c > a&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/609\/84d\/2de\/60984d2de561c9cc8334fe5dffe0aa38.svg&#187; width=&#187;45&#8243; height=&#187;14&#8243;\/>.<\/p>\n<p>\u041c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0430\u0431\u0441\u0443\u0440\u0434\u043d\u044b\u043c \u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0446\u0438\u043a\u043b\u044b \u0432\u00a0\u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f\u0445, \u043d\u043e\u00a0\u0442\u0435\u043e\u0440\u0438\u044f \u0441\u043e\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e\u00a0\u043c\u044b, \u043b\u044e\u0434\u0438, \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a, \u043d\u0435\u0442\u0440\u0430\u043d\u0437\u0438\u0442\u0438\u0432\u043d\u043e, \u0432\u044b\u0431\u043e\u0440 \u0438 \u0434\u0435\u043b\u0430\u0435\u043c.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u043e\u0432, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441. \u041a\u0430\u0436\u0434\u044b\u0439 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u043e\u00a0\u0441\u0432\u043e\u0435\u043c\u0443 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044e (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <img class=\"formula inline\" source=\"a > b > c&#187; alt=&#187;a > b > c&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08c\/f29\/e24\/08cf29e24f1f11940424008d8b0852ed.svg&#187; width=&#187;79&#8243; height=&#187;17&#8243;\/>\u00a0)\u00a0\u2014 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0432\u0437\u044f\u0442\u043e\u0433\u043e AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u0442\u0440\u0430\u043d\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0430. \u041d\u043e\u00a0\u043a\u0430\u043a\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043e\u0442\u0432\u0435\u0442\u044b \u0440\u0430\u0437\u043d\u044b\u0445 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u043e\u0432 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u043c, \u0432\u043f\u043e\u043b\u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u043e\u0436\u0438\u0442\u044c\u0441\u044f \u0446\u0438\u043a\u043b <img class=\"formula inline\" source=\"a > b&#187; alt=&#187;a > b&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a6\/4c6\/8ad\/3a64c68ad35f310b4dae1b70e1135ed4.svg&#187; width=&#187;45&#8243; height=&#187;17&#8243;\/>, <img class=\"formula inline\" source=\"b > c&#187; alt=&#187;b > c&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a13\/3fa\/5e2\/a133fa5e271f0ae34f83308b495ab0dc.svg&#187; width=&#187;43&#8243; height=&#187;17&#8243;\/>, \u043d\u043e <img class=\"formula inline\" source=\"c > a&#187; alt=&#187;c > a&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/233\/2f8\/0d5\/2332f80d5b46b5b219d29590204c00fb.svg&#187; width=&#187;45&#8243; height=&#187;14&#8243;\/> \u042d\u0442\u043e \u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9F%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81_%D0%9A%D0%BE%D0%BD%D0%B4%D0%BE%D1%80%D1%81%D0%B5\"><u>\u043f\u0430\u0440\u0430\u0434\u043e\u043a\u0441\u043e\u043c \u041a\u043e\u043d\u0434\u043e\u0440\u0441\u0435<\/u><\/a> \u0438 \u0448\u0438\u0440\u043e\u043a\u043e \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u0432.<\/p>\n<p>\u041d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b\u00a0\u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u0438\u0431\u043a\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u043c\u043e\u0433\u043b\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043d\u0435\u0442\u0440\u0430\u043d\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0432\u00a0\u0432\u044b\u0431\u043e\u0440\u0435 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u043e\u0432, \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\psi(s, a, b)\" alt=\"r_\\psi(s, a, b)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/475\/ae6\/5f1\/475ae65f12e90bd19ced139fe3c53f75.svg\" width=\"80\" height=\"23\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434 \u043d\u0435\u00a0\u043e\u0434\u0438\u043d, \u0430\u00a0\u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0442\u043e <img class=\"formula inline\" source=\"a > b&#187; alt=&#187;a > b&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e31\/d15\/e2d\/e31d15e2d84abeb4def40e885bdb3bdf.svg&#187; width=&#187;45&#8243; height=&#187;17&#8243;\/>. \u0414\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u00a0\u043d\u0430\u0441 \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441\u00a0\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439, \u043a\u0442\u043e \u0438\u0437\u00a0\u043e\u0442\u0432\u0435\u0442\u043e\u0432\u00a0\u0431\u044b\u043b \u043b\u0443\u0447\u0448\u0435. \u041e\u0431\u0443\u0447\u0430\u0435\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0423\u00a0\u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0440\u0430\u0432\u0434\u0430, \u0435\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a: \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0451 \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438\u0448\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043e\u043d\u0430 \u043d\u0435\u00a0\u0432\u044b\u0434\u0430\u0451\u0442. \u0410\u00a0\u0435\u0449\u0451, \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u043a\u0430\u043a\u2011\u0442\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043d\u0435\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0441\u0442\u0438: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\psi(s, a, b) \\neq 1 - r_\\psi(s, b, a)\" alt=\"r_\\psi(s, a, b) \\neq 1 - r_\\psi(s, b, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10a\/4e6\/377\/10a4e63779b3017e7860198b9370af21.svg\" width=\"221\" height=\"23\"\/>. \u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e, \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0440\u043e\u0436\u0435 \u0438\u043d\u0444\u0435\u0440\u0438\u0442\u044c, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u0432\u00a0\u043d\u0435\u0451 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e.<\/p>\n<p>\u0412\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 YandexGPT \u043c\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441\u00a0\u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u0442\u0440\u0430\u043d\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0435\u0451 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0411\u0440\u044d\u0434\u043b\u0438\u2011\u0422\u0435\u0440\u0440\u0438 \u043d\u0435\u00a0\u0441\u043c\u043e\u0433\u043b\u0438\u00a0\u2014 \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e. \u0412\u00a0\u0441\u0438\u043b\u0443 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0442\u0440\u0430\u043d\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430\u00a0\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0411\u0440\u044d\u0434\u043b\u0438\u2011\u0422\u0435\u0440\u0440\u0438.<\/p>\n<h2>\u0414\u043b\u044f \u0447\u0435\u0433\u043e (\u0435\u0449\u0451) \u043d\u0443\u0436\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b?<\/h2>\n<p>\u0412\u043e\u0442, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u0443\u00a0\u043d\u0430\u0441 \u043d\u0430\u00a0\u0440\u0443\u043a\u0430\u0445 \u0435\u0441\u0442\u044c \u043c\u0435\u0440\u0438\u043b\u043e \u0443\u0441\u043f\u0435\u0445\u0430\u00a0\u2014 \u043e\u0446\u0435\u043d\u0449\u0438\u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f, \u0447\u0442\u043e\u00a0\u0441\u00a0\u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0434\u0435\u043b\u0430\u0442\u044c, \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u0431\u0430\u0431\u0430\u0445\u0430\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c SFT\u2011\u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u0441\u0430\u043c\u0443\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443. \u0418 \u043c\u044b, \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u00a0\u0436\u0435, \u043e\u0431\u0441\u0443\u0434\u0438\u043c \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043d\u0435\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c\u00a0\u043b\u0438\u0448\u044c RL. \u041f\u0443\u0441\u0442\u044c \u0443\u00a0\u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0438 \u043a\u0430\u043a\u0430\u044f\u2011\u0442\u043e SFT\u2011\u043c\u043e\u0434\u0435\u043b\u044c, \u0438 \u0432\u043e\u0442 \u0432\u044b \u043d\u0430\u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u044c SFT \u043d\u0430\u00a0\u043d\u043e\u0432\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u0425\u043e\u0440\u043e\u0448\u0430\u044f \u0438\u0434\u0435\u044f\u00a0\u2014 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043b\u043e\u0441\u0441\u0430 \u043d\u0430\u00a0\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438, \u043d\u043e\u00a0\u0435\u0449\u0451 \u0438 \u043d\u0430\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0443. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438\u0437\u00a0\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u0434\u043b\u044f\u00a0\u044d\u0442\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<p>\u0427\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u00a0\u0440\u0430\u043d\u043d\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432 \u043f\u043e\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u00a0\u043d\u0430\u00a0\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438, \u0447\u0442\u043e\u00a0\u0440\u0430\u043d\u043d\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432 \u043f\u043e\u00a0\u043b\u043e\u0441\u0441\u0443. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u044d\u0442\u043e\u0442 \u043d\u0435\u0445\u0438\u0442\u0440\u044b\u0439 \u0442\u0440\u044e\u043a \u0432\u00a0YandexGPT \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c SFT\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u0435\u0435 \u043c\u044b \u043d\u0435\u00a0\u0440\u0430\u0437 \u0431\u0443\u0434\u0435\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441\u00a0\u0446\u0435\u043b\u044c\u044e \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0438\u043b\u0438\u00a0\u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f\u00a0\u2014 \u0437\u0430\u043b\u043e\u0433 \u0443\u0441\u043f\u0435\u0445\u0430. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0446\u0435\u043b\u044b\u0439 \u0440\u044f\u0434 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0445 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u0444\u043e\u0440\u043c\u0430\u0442, \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u044b\u0439 \u0434\u043b\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, TensorRT, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u043d\u043d\u044b\u0439 \u0432\u00a0Torch. \u0412\u00a0\u042f\u043d\u0434\u0435\u043a\u0441\u0435 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u00ab\u0431\u044b\u0441\u0442\u0440\u044b\u0439\u00bb \u0444\u043e\u0440\u043c\u0430\u0442 \u0441\u0442\u043e\u0438\u0442 \u0441\u0432\u0435\u0447. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438, \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430\u00a0\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0435\u0432\u0437\u043e\u0439\u0442\u0438 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430\u00a0\u043d\u0435\u00a0\u043e\u0447\u0435\u043d\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0437\u0430\u043d\u043e\u0432\u043e. \u0417\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c: \u0435\u0441\u043b\u0438 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0440\u0435\u0434\u043a\u043e \u0438\u043b\u0438\u00a0\u0432\u043e\u0432\u0441\u0435 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f, \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0430\u00a0\u0435\u0441\u043b\u0438 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u043e\u00a0\u2014 \u043b\u0443\u0447\u0448\u0435 \u0438\u043d\u0444\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u00a0\u043e\u0431\u044b\u0447\u043d\u043e\u043c Torch. \u041f\u043e\u00a0\u044d\u0442\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0434\u043b\u044f\u00a0\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0431\u0435\u0437\u00a0\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438, \u0430\u00a0\u0432\u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0434\u0435\u0440\u0436\u0438\u043c \u0432 \u00ab\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u00bb \u0444\u043e\u0440\u043c\u0430\u0442\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043e\u043d\u0430 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<h2>\u00abRL \u0434\u043b\u044f \u0431\u0435\u0434\u043d\u044b\u0445\u00bb \u2014 Cross-Entropy Method<\/h2>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u0438 \u043e\u0431\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b\u00a0\u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f\u00a0\u0431\u044b \u043d\u0430\u0431\u0438\u0440\u0430\u043b\u0430 \u043c\u043d\u043e\u0433\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u044b. <\/p>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441\u00a0\u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0432\u00a0\u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u043c\u044b \u0435\u0433\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u00ab\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0434\u043b\u044f\u00a0\u0431\u0435\u0434\u043d\u044b\u0445\u00bb. \u041f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442 \u0432\u00a0\u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0434\u043b\u044f\u00a0\u043d\u0435\u0433\u043e \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c SFT\u2011\u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u00a0N \u043e\u0442\u0432\u0435\u0442\u043e\u0432,<\/p>\n<\/li>\n<li>\n<p>\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0435 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430,<\/p>\n<\/li>\n<li>\n<p>\u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c SFT\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u0445 <code>\u0437\u0430\u043f\u0440\u043e\u0441 + \u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0438\u00a0\u0432\u0441\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0435 \u0438\u0437\u00a0\u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0436\u0430\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0440\u043e\u0444\u0438\u0442. \u0417\u0434\u0435\u0441\u044c \u0434\u043b\u044f\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432 \u00ab\u0431\u044b\u0441\u0442\u0440\u044b\u0439\u00bb \u0444\u043e\u0440\u043c\u0430\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b.<\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 RL\u2011\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432 \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u043f\u043e\u0434\u00a0\u0438\u043c\u0435\u043d\u0435\u043c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Cross-entropy_method\"><u>Cross\u2011Entropy Method<\/u><\/a> (CEM \/ CE\u2011RL). \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 CEM \u043a\u00a0RL\u00a0\u2014 \u044d\u0442\u043e, \u043d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. CEM\u00a0\u2014 \u044d\u0442\u043e \u043e\u0431\u0449\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0439\u0441\u044f \u043a\u00a0\u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0443 \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432. \u0412\u00a0\u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445 CEM \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0430\u043a: \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u0447\u0435\u043a \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0438\u0437\u00a0\u043d\u0438\u0445 \u043b\u0443\u0447\u0448\u0438\u0435, \u0437\u0430\u0442\u0435\u043c \u0434\u0432\u0438\u0433\u0430\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0442\u043e\u0447\u0435\u043a \u0432\u00a0\u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043b\u0443\u0447\u0448\u0438\u0445.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0CEM \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u0435\u043d\u00a0\u043b\u0438\u0448\u044c \u0434\u043b\u044f\u00a0\u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u0432. \u0415\u0441\u043b\u0438 \u0432\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442\u0435 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e\u00a0\u0436\u0435, \u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u043c\u0435\u0448\u0430\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0430\u00a0\u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u043e\u00a0\u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a \u0441\u0435\u0431\u0435: \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0442\u0435\u0440\u044f\u0435\u0442 \u0432\u00a0\u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0438 \u043f\u043e\u0442\u043e\u043c\u0443 \u0432\u044b\u0431\u043e\u0440 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u0435\u0451 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c.<\/p>\n<p>\u0418\u0434\u0435\u044f \u00ab\u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u0443\u0435\u043c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u0430\u0434 \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u00bb \u043d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043e\u0431\u0449\u0430\u044f. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043a\u0440\u0443\u0442\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0435\u00a0\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u044b\u00a0\u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0432 \u043c\u0435\u0442\u043e\u0434 <a href=\"https:\/\/arxiv.org\/abs\/2201.11903\"><u>Chain\u2011of\u2011Thought<\/u><\/a> \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u043f\u043e\u0434\u0432\u043e\u0434\u043e\u043a \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u0432\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432, \u00ab\u043f\u0440\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044f \u0441\u0432\u043e\u0438 \u043c\u044b\u0441\u043b\u0438 \u0432\u0441\u043b\u0443\u0445\u00bb. \u0410\u00a0\u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u044f\u0436\u0451\u043b\u0443\u044e \u0430\u0440\u0442\u0438\u043b\u043b\u0435\u0440\u0438\u044e\u00a0\u2014 <a href=\"https:\/\/www.nature.com\/articles\/nature16961\"><u>Monte\u2011Carlo Tree Search (MCTS)<\/u><\/a>\u00a0\u2014 \u0434\u043b\u044f\u00a0\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e\u00a0\u0434\u0435\u0440\u0435\u0432\u0443 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441\u00a0\u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439.<\/p>\n<p>\u041f\u043e\u0447\u0442\u0438 \u0432\u00a0\u043b\u044e\u0431\u043e\u043c \u043a\u0443\u0440\u0441\u0435 \u043f\u043e\u00a0RL \u0432\u0430\u043c \u0441\u043a\u0430\u0436\u0443\u0442, \u0447\u0442\u043e\u00a0\u0432\u00a0RL \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u00a0\u0431\u044b\u0432\u0430\u0435\u0442. \u0418\u043c\u0435\u0435\u0442\u0441\u044f \u0432\u00a0\u0432\u0438\u0434\u0443, \u0447\u0442\u043e\u00a0\u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u043d\u0430\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0430\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0434\u043b\u044f\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0438, \u0442\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0435\u0433\u043e \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e\u00a0\u2014 \u043e\u043d \u0443\u0436\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u0412\u00a0\u044f\u0437\u044b\u043a\u043e\u0432\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0435\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u0430\u0433\u0435\u043d\u0442 \u0432\u0438\u0434\u0438\u0442 \u043d\u0435\u00a0\u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u0430\u00a0\u043b\u0438\u0448\u044c \u043a\u0430\u043a\u043e\u0435\u2011\u0442\u043e \u0438\u0445 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u043e \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0443\u044e \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e RL \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<h2>\u00abRL \u0434\u043b\u044f \u0431\u043e\u0433\u0430\u0442\u044b\u0445\u00bb \u2014 Proximal Policy Optimization<\/h2>\n<p>\u041e\u0442\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u043a\u00a0\u0441\u043b\u043e\u0436\u043d\u043e\u043c\u0443: \u00abRL \u0434\u043b\u044f\u00a0\u0431\u0435\u0434\u043d\u044b\u0445\u00bb \u043f\u0440\u0438\u00a0\u0432\u0441\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0435 \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u0439\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0432\u00a0\u0441\u043c\u044b\u0441\u043b\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0438\u0447\u0438\u043d \u0434\u0432\u0435:<\/p>\n<ul>\n<li>\n<p>\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c N \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0434\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432\u0435\u0441\u044c\u043c\u0430 \u0434\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c;<\/p>\n<\/li>\n<li>\n<p>\u0431\u0435\u0437\u00a0\u0445\u0438\u0442\u0440\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0442\u0435\u0440\u044f\u0435\u0442 \u0432\u00a0\u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0435\u00a0\u0432\u0435\u0434\u0443\u0442 \u043a\u00a0\u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0434\u0435\u0441\u044c \u043d\u0430\u00a0\u043f\u043e\u043c\u043e\u0449\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c. \u0414\u043b\u044f\u00a0\u0437\u0430\u0434\u0430\u0447\u0438 alignment \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0438\u0437\u00a0\u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 policy gradients.<\/p>\n<p>\u0418\u0434\u0435\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u0430\u0448 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0441\u0442\u0443\u0434\u0435\u043d\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u044d\u0442\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u043c \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0441\u0430\u043c\u044b\u0439 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u043f\u043e\u0434\u044a\u0451\u043c (\u044d\u0442\u043e \u043a\u0430\u043a\u00a0\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u043d\u043e\u00a0\u0434\u043b\u044f\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0430\u00a0\u043d\u0435\u00a0\u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0439).<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u0430\u0433\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0430\u043a:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} r_\\psi(s, a) \" alt=\"J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} r_\\psi(s, a) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de0\/fa8\/5b4\/de0fa85b4598f78f081149fb02caeaad.svg\" width=\"258\" height=\"25\"\/><\/p>\n<p>\u0414\u0430, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{E} \" alt=\"\\mathbf{E} \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/267\/6a4\/4df\/2676a44df5e6226176887cb7b9fdd846.svg\" width=\"15\" height=\"17\"\/> \u0437\u0434\u0435\u0441\u044c\u00a0\u2014 \u044d\u0442\u043e \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e \u043f\u0443\u0433\u0430\u0442\u044c\u0441\u044f! \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u00a0\u043d\u0435\u0433\u043e \u0434\u0443\u043c\u0430\u0442\u044c \u043a\u0430\u043a\u00a0\u043f\u0440\u043e\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 (\u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c\u0443) \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{E}_{s \\sim \\mathcal{D} }\" alt=\"\\mathbf{E}_{s \\sim \\mathcal{D} }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2aa\/67c\/6d7\/2aa67c6d789bbf154951bc10e6e5ceb7.svg\" width=\"45\" height=\"20\"\/>\u00a0\u2014 \u044d\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ada\/21e\/ec7\/ada21eec795f8680326b5150dbac0242.svg\" width=\"9\" height=\"12\"\/> \u0438\u0437\u00a0\u0432\u044b\u0431\u043e\u0440\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{D}\" alt=\"\\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e50\/e56\/20d\/e50e5620de6cb0ff27bc48ccf16ed14d.svg\" width=\"15\" height=\"17\"\/>. \u0410 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a| s)}\" alt=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a| s)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d83\/705\/f46\/d83705f46ef4604b1f4e577843199a00.svg\" width=\"77\" height=\"24\"\/>\u00a0\u2014 \u044d\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/149\/e12\/f0b\/149e12f0bf5c56ea3a7d75e9f2bdbde3.svg\" width=\"9\" height=\"12\"\/>. \u0417\u0434\u0435\u0441\u044c \u0437\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ca\/b36\/546\/5cab36546903004c39256ec05f6705c3.svg\" width=\"20\" height=\"15\"\/> \u043c\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043b\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/747\/149\/9e0\/7471499e03030f4f673c095d374437f1.svg\" width=\"9\" height=\"17\"\/>. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta(a | s)\" alt=\"\\pi_\\theta(a | s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fdd\/2cf\/afc\/fdd2cfafc385f543347c93d222a8b82b.svg\" width=\"60\" height=\"22\"\/>\u00a0\u2014 \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b8d\/37b\/205\/b8d37b2054c8512a7ee1b50b9b20ec6d.svg\" width=\"10\" height=\"12\"\/> \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53f\/d9e\/365\/53fd9e365290e850a550edbb5b9814ad.svg\" width=\"9\" height=\"12\"\/>. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u043c \u0432\u044b\u0434\u0430\u044e\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0421\u043b\u043e\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430\u00a0\u2014 \u043a\u0430\u043a, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u044d\u0442\u043e\u0439 \u0448\u0442\u0443\u043a\u0438 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b64\/bfc\/535\/b64bfc535ad620b12cc771a08e06f2ba.svg\" width=\"9\" height=\"17\"\/>. \u041d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e \u0442\u043e, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab7\/a33\/2e0\/ab7a332e052567abe871a7af10935ddb.svg\" width=\"9\" height=\"17\"\/> \u0441\u0438\u0434\u0438\u0442 \u043f\u043e\u0434\u00a0\u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u0440\u0435\u0448\u0430\u0435\u043c\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0431\u044b\u0432\u0430\u0435\u0442, \u0438, \u0435\u0441\u043b\u0438 \u043d\u0430\u043f\u0440\u044f\u0447\u044c \u043c\u0430\u0442\u0430\u043f\u0430\u0440\u0430\u0442, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u00a0\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\nabla_\\theta \\log \\pi_\\theta(a | s) r_\\psi(s, a) \" alt=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\nabla_\\theta \\log \\pi_\\theta(a | s) r_\\psi(s, a) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/121\/bcf\/43f\/121bcf43f06a896b1c828a51b851587f.svg\" width=\"399\" height=\"25\"\/><\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043e\u0442\u043a\u0443\u0434\u0430 \u0432\u0437\u044f\u043b\u0430\u0441\u044c \u0442\u0430\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f\u00a0\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435, \u0432\u0441\u0451\u00a0\u0436\u0435 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f. \u0420\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u043e\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u043c \u0432\u00a0\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\sum_a \\pi_\\theta(a | s) r_\\psi(s, a) \" alt=\"J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\sum_a \\pi_\\theta(a | s) r_\\psi(s, a) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c39\/032\/4fa\/c390324faa43548a09cd8ab512d10506.svg\" width=\"276\" height=\"44\"\/><\/p>\n<p>\u0421\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u00a0\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043a\u043e\u0438\u0445 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e (\u0441\u0447\u0451\u0442\u043d\u043e) \u043c\u043d\u043e\u0433\u043e. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7e9\/c41\/aa8\/7e9c41aa8540f7ac3078d9e1a8e2e376.svg\" width=\"9\" height=\"17\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\sum_a \\nabla_\\theta \\pi_\\theta(a | s) r_\\psi(s, a)\" alt=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\sum_a \\nabla_\\theta \\pi_\\theta(a | s) r_\\psi(s, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/acc\/e74\/4ba\/acce744ba48f74ae40db93afc8c3a6d2.svg\" width=\"325\" height=\"44\"\/><\/p>\n<p>\u0421\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0440\u0430\u043d\u044c\u0448\u0435 \u0443\u00a0\u043d\u0430\u0441\u00a0\u0431\u044b\u043b\u043e \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u043e\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u043c, \u0430\u00a0\u0442\u0435\u043f\u0435\u0440\u044c\u00a0\u2014 \u0441\u0443\u043c\u043c\u0430. \u042d\u0442\u0430 \u0441\u0443\u043c\u043c\u0430 \u043d\u0435\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043f\u043e\u0434\u00a0\u0441\u0443\u043c\u043c\u043e\u0439 \u0434\u043e\u043b\u0436\u043d\u044b\u00a0\u0431\u044b\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0430\u00a0\u0442\u0443\u0442\u00a0\u2014 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439. \u041c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0435 \u0441\u0443\u043c\u043c, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u044b \u0443\u043c\u0435\u0435\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u043c Monte\u2011Carlo (\u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435\u043c, \u043f\u043e\u00a0\u0441\u0443\u0442\u0438), \u0430\u00a0\u0432\u043e\u0442 \u0441\u0443\u043c\u043c\u044b\u00a0\u2014 \u043d\u0435\u0442. \u0427\u0442\u043e\u0431\u044b \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u00a0\u0436\u0435\u043b\u0430\u0435\u043c\u043e\u0435 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u043c log\u2011derivative \u0442\u0440\u044e\u043a\u043e\u043c (\u0442\u0440\u044e\u043a \u0441\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\" \\nabla_\\theta \\pi_\\theta(a|s) = \\pi_\\theta(a|s) \\nabla_\\theta \\log \\pi_\\theta(a|s) \" alt=\" \\nabla_\\theta \\pi_\\theta(a|s) = \\pi_\\theta(a|s) \\nabla_\\theta \\log \\pi_\\theta(a|s) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab2\/e5b\/01b\/ab2e5b01ba55a51d4acdf67442180245.svg\" width=\"287\" height=\"22\"\/><\/p>\n<p>\u042d\u0442\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0435\u0451 \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u00a0\u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\sum_a \\pi_\\theta(a|s) \\nabla_\\theta \\log \\pi_\\theta(a|s) r_\\psi(s, a) \" alt=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\sum_a \\pi_\\theta(a|s) \\nabla_\\theta \\log \\pi_\\theta(a|s) r_\\psi(s, a) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/82f\/03b\/145\/82f03b145f2b0a71cdc0b3ef2e30b852.svg\" width=\"417\" height=\"44\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u00a0\u0441\u0443\u043c\u043c\u043e\u0439 \u0435\u0441\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u0430\u0437\u0430\u0434, \u043a\u0430\u043a\u00a0\u043c\u044b \u0438 \u0445\u043e\u0442\u0435\u043b\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\nabla_\\theta \\log \\pi_\\theta(a | s) r_\\psi(s, a)\" alt=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\nabla_\\theta \\log \\pi_\\theta(a | s) r_\\psi(s, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/87f\/012\/684\/87f012684d84554ff40bd4d059a6eee0.svg\" width=\"399\" height=\"25\"\/><\/p>\n<p>\u0427.\u0422.\u0414.<\/p>\n<\/div>\n<\/details>\n<p>\u0412\u00a0\u0446\u0435\u043b\u043e\u043c, \u0443\u0436\u0435 \u0438\u0437\u00a0\u044d\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043b\u044f\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041d\u043e\u00a0\u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u0435\u043c, \u0447\u0442\u043e\u00a0\u044d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043d\u0430\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442. \u0415\u0441\u043b\u0438 \u0434\u043e\u043b\u0433\u043e \u0438 \u043f\u0440\u0438\u0441\u0442\u0430\u043b\u044c\u043d\u043e \u043d\u0430\u00a0\u043d\u0435\u0451 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e\u00a0\u044d\u0442\u043e\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0430\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76d\/24a\/932\/76d24a932536e0c59de10cda9a53ef33.svg\" width=\"10\" height=\"12\"\/> \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0435\u0433\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\psi(s, a)\" alt=\"r_\\psi(s, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4bc\/b3e\/802\/4bcb3e802882543febc189a040a24f44.svg\" width=\"63\" height=\"23\"\/>.\u0415\u0441\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f, \u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u043c, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f\u00a0\u2014 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c, \u0430\u00a0\u0435\u0441\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f\u00a0\u2014 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c. <\/p>\n<p>\u041f\u043e\u043a\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u00a0\u2014 \u0443\u0441\u0440\u0435\u0434\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432\u00a0\u2014 \u0432\u0441\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a\u00a0\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043e. \u041d\u043e\u00a0\u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043c\u044b \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a\u00a0\u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u044f\u043c \u043f\u043e\u00a0\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c\u0443, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418 \u0442\u0443\u0442 \u043c\u043e\u0433\u0443\u0442\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u043f\u0443\u0441\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0432\u044b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u00a0\u043e\u043d\u0430 \u0432\u0435\u0437\u0434\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f: \u0434\u043b\u044f\u00a0\u043f\u043b\u043e\u0445\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043e\u043d\u0430 \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435, \u0434\u043b\u044f\u00a0\u0445\u043e\u0440\u043e\u0448\u0438\u0445\u00a0\u2014 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435. \u0422\u043e\u0433\u0434\u0430 \u044d\u0442\u043e\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0441 \u0442\u043e\u043b\u043a\u0430\u0442\u044c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f\u00a0\u043b\u044e\u0431\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043a\u0430\u043a\u0438\u0435\u00a0\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0432\u0438\u0434\u043e\u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 (\u0442\u043e\u0436\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0443\u044e):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\nabla_\\theta \\log \\pi_\\theta(a | s) [r_\\psi(s, a) - V_\\phi(s)] \" alt=\"\\nabla_\\theta J(\\pi_\\theta) = \\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\nabla_\\theta \\log \\pi_\\theta(a | s) [r_\\psi(s, a) - V_\\phi(s)] \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e0\/2e7\/979\/6e02e7979b274c1bfd4299f7f42d41b4.svg\" width=\"480\" height=\"25\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V_\\phi(s) = \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} r_\\psi(s, a)\" alt=\"V_\\phi(s) = \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} r_\\psi(s, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea1\/f27\/3d7\/ea1f273d749587a2cfc4d55c1a302d8a.svg\" width=\"213\" height=\"25\"\/>\u00a0\u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0430\u0433\u0435\u043d\u0442 \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442, \u0435\u0441\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u043b\u044f\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f7\/d57\/1ea\/6f7d571ea53bd0326d0b4c8aac71d430.svg\" width=\"9\" height=\"12\"\/> (\u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f\u00a0\u0430\u0433\u0435\u043d\u0442\u0430). \u041e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434\u00a0\u044d\u0442\u0443 \u043d\u0443\u0436\u0434\u0443 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043e\u0434\u043d\u043e \u0447\u0438\u0441\u043b\u043e. \u0422\u043e \u0435\u0441\u0442\u044c \u0438\u0434\u0435\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0432\u044b\u0448\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0443\u0447\u0448\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e. \u0423\u0447\u0438\u0442\u0441\u044f \u044d\u0442\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u0441\u0432\u043e\u0438\u0445 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u043e\u0442\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0437\u0430\u00a0\u043e\u0442\u0432\u0435\u0442:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} [ V_\\phi(s) - r_\\psi(s, a) ]^2 \\rightarrow \\min_\\phi \" alt=\"\\mathbf{E}_{s \\sim \\mathcal{D} } \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} [ V_\\phi(s) - r_\\psi(s, a) ]^2 \\rightarrow \\min_\\phi \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f12\/38b\/fa8\/f1238bfa80796480b5b5a1c20a6cf9e4.svg\" width=\"338\" height=\"38\"\/><\/p>\n<p>\u0418\u0437\u2011\u0437\u0430 \u0441\u0432\u043e\u0439\u0441\u0442\u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0432\u044b\u0443\u0447\u0438\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u043d\u0443\u0436\u043d\u043e\u0435 \u043d\u0430\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u0422\u0443\u0442 \u043f\u0440\u0435\u0436\u043d\u0438\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441\u00a0\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u043d\u0435\u0442\u00a0\u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\phi\" alt=\"\\phi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/488\/124\/112\/4881241126e222a68c837c0b2abfe837.svg\" width=\"12\" height=\"21\"\/> \u043f\u043e\u0434\u00a0\u0441\u0430\u043c\u0438\u043c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c \u043d\u0435\u00a0\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u0443\u044e\u0442.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0447\u0442\u043e\u00a0\u0436\u0435 \u0443\u00a0\u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c? \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0444\u043e\u0440\u043c\u0438\u043c \u044d\u0442\u043e \u0432\u00a0\u0432\u0438\u0434\u0435 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434\u0430:<\/p>\n<p><code>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c 1. <\/code><\/p>\n<p><code>1. \u0412\u0445\u043e\u0434: \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{D}\" alt=\"\\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1c8\/0f7\/8ed\/1c80f78ed0260ebd3519af0e3c8a98f8.svg\" width=\"15\" height=\"17\"\/><\/p>\n<p><code>2. \u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 SFT-\u043c\u043e\u0434\u0435\u043b\u044c\u044e: <\/code><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta \\leftarrow \\pi_{\\text{SFT}}\" alt=\"\\pi_\\theta \\leftarrow \\pi_{\\text{SFT}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/60e\/57c\/50d\/60e57c50d7fa1fada759c2e4e077a10e.svg\" width=\"90\" height=\"17\"\/><\/p>\n<p><code>3. \u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V\" alt=\"V\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b9\/a55\/c08\/1b9a55c087e1258b110b8d59130a5246.svg\" width=\"15\" height=\"17\"\/><code>\u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u044b:<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V_\\phi \\leftarrow r_\\psi\" alt=\"V_\\phi \\leftarrow r_\\psi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a5\/beb\/3e6\/6a5beb3e6806fc075220192fded1b53a.svg\" width=\"72\" height=\"22\"\/><\/p>\n<p><code>4. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0434\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438:<\/code><\/p>\n<p>  <code>4.1. \u0412\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0431\u0430\u0442\u0447 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{B} \\sim \\mathcal{D}\" alt=\"\\mathcal{B} \\sim \\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0cf\/695\/1fa\/0cf6951fa785e253c54757c00dabb6b5.svg\" width=\"54\" height=\"17\"\/><\/p>\n<p>  <code>4.2. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438\u0437 \u0431\u0430\u0442\u0447\u0430<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V_\\phi(s_i) \\;\\;\\forall s_i \\in \\mathcal{B}\" alt=\"V_\\phi(s_i) \\;\\;\\forall s_i \\in \\mathcal{B}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/907\/873\/1f7\/9078731f7138859aa5429533d2ef8afa.svg\" width=\"127\" height=\"23\"\/><\/p>\n<p>  <code>4.3. \u0413\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_i\" alt=\"a_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/146\/58e\/44a\/14658e44a038ff95467d3b0ca340ed16.svg\" width=\"17\" height=\"15\"\/>  <code>\u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\forall s_i \\in \\mathcal{B}\" alt=\"\\forall s_i \\in \\mathcal{B}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/199\/447\/17b\/19944717bd554ea1b5eca5c1bdbb0633.svg\" width=\"64\" height=\"20\"\/><\/p>\n<p><code>      \u0412\u0430\u0436\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c2\/8c3\/047\/2c28c30470badadbf1d2ac72a309fa14.svg\" width=\"20\" height=\"15\"\/><\/p>\n<p>  <code>4.4. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043d\u0430\u0433\u0440\u0430\u0434\u0443<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\psi(s_i, a_i)\" alt=\"r_\\psi(s_i, a_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9a\/9dd\/2e4\/a9a9dd2e42be27ee8621acd28bf1f010.svg\" width=\"77\" height=\"23\"\/> <code>\u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0430\u0440<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(s_i, a_i)\" alt=\"(s_i, a_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f02\/801\/d23\/f02801d23aeee51a2338ef5690e1d57b.svg\" width=\"57\" height=\"22\"\/><\/p>\n<p>  <code>4.5. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043b\u043e\u0441\u0441 \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430<\/code> <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}_a = - \\frac{1}{|\\mathcal{B}|} \\sum_i^{|\\mathcal{B}|} \\log \\pi_\\theta(a_i | s_i) [ r_\\psi(s_i, a_i) - V_\\phi(s_i) ]\" alt=\"\\mathcal{L}_a = - \\frac{1}{|\\mathcal{B}|} \\sum_i^{|\\mathcal{B}|} \\log \\pi_\\theta(a_i | s_i) [ r_\\psi(s_i, a_i) - V_\\phi(s_i) ]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b5\/67a\/f70\/2b567af704c29a38b0b7f84bf96c12c4.svg\" width=\"396\" height=\"63\"\/><\/p>\n<p>  <code>4.6. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043b\u043e\u0441\u0441 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/code>  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V\" alt=\"V\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/048\/c8d\/fe7\/048c8dfe7fa5e834a1491d7ac546b367.svg\" width=\"15\" height=\"17\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}_v = \\frac{1}{|\\mathcal{B}|} \\sum_i^{|\\mathcal{B}|} [ V_\\phi(s_i) - r_\\psi(s_i, a_i) ]^2 \" alt=\"\\mathcal{L}_v = \\frac{1}{|\\mathcal{B}|} \\sum_i^{|\\mathcal{B}|} [ V_\\phi(s_i) - r_\\psi(s_i, a_i) ]^2 \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac8\/fb9\/3d0\/ac8fb93d042435ff5c6d062a4053f043.svg\" width=\"284\" height=\"63\"\/><\/p>\n<p>  <code>4.7.<\/code>  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\mathcal{L}_a + \\mathcal{L}_v) \\text{.backward()}\" alt=\"(\\mathcal{L}_a + \\mathcal{L}_v) \\text{.backward()}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/972\/a93\/c00\/972a93c00806c32d68c2882a5eadd316.svg\" width=\"187\" height=\"22\"\/><\/p>\n<p>  <code>4.8.<\/code> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\text{optimizer.step()} \" alt=\"\\text{optimizer.step()} \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/023\/90b\/f75\/02390bf75f4d85a21de4bd8b599e8daa.svg\" width=\"109\" height=\"18\"\/><\/p>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0432\u044b\u0448\u0435, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Advantage Actor Critic (A2C). \u042d\u0442\u043e \u0443\u0436\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043b\u044f\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043c\u044b \u043d\u044b\u0440\u043d\u0451\u043c \u0432\u00a0\u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u043d\u044e\u0430\u043d\u0441\u043e\u0432, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0435\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0438\u043d\u0443\u0441\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0434\u043e\u0440\u043e\u0433\u043e\u0432\u0438\u0437\u043d\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (\u0432 \u0441\u043c\u044b\u0441\u043b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438). \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0442\u00a0\u0432\u0430\u0441 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u00a0\u043e\u0442\u0432\u0435\u0442\u0443 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0431\u0430\u0442\u0447\u0430 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441\u00a0\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0435\u0439 \u0432\u0435\u0441\u043e\u0432\u00a0\u2014 \u043d\u0435\u043b\u044c\u0437\u044f \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u00a0\u043e\u0442\u0432\u0435\u0442\u0443 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043a\u0430\u043a\u00a0\u044d\u0442\u043e\u00a0\u0431\u044b\u043b\u043e \u0432 \u00ab\u0431\u0435\u0434\u043d\u043e\u043c RL\u00bb. \u0422\u0443\u0442 \u0432\u0430\u043c \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c \u043a\u0443\u0434\u0430 \u043c\u0435\u043d\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0442\u043e\u0440\u0447\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n<p>\u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0435\u0441\u043b\u0438 \u0432\u044b \u0433\u0434\u0435\u2011\u0442\u043e \u0447\u0438\u0442\u0430\u043b\u0438 \u043f\u0440\u043e\u00a0alignment, \u0432\u044b \u0441\u043b\u044b\u0448\u0430\u043b\u0438, \u0447\u0442\u043e\u00a0\u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u043a\u0442\u043e <a href=\"https:\/\/arxiv.org\/abs\/1707.06347v2\">PPO (Proximal Policy Optimization)<\/a>. \u042d\u0442\u043e \u043d\u0438 \u0447\u0442\u043e\u00a0\u0438\u043d\u043e\u0435, \u043a\u0430\u043a\u00a0A2C, \u043a\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043f\u0440\u0438\u0434\u0435\u043b\u0430\u043b\u0438 \u043a\u043e\u0441\u0442\u044b\u043b\u0438 (importance sampling \u0438 \u043e\u0431\u0440\u0435\u0437\u043a\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432), \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e\u00a0\u0431\u044b\u043b\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u043d\u0430\u00a0\u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445\u00a0\u0436\u0435 \u043e\u0442\u0432\u0435\u0442\u0430\u0445. \u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u044d\u0442\u043e \u0432\u0441\u0451, \u0447\u0442\u043e\u00a0\u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u043e\u00a0PPO, \u043d\u043e\u00a0\u0435\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0435 \u043d\u0430\u00a0\u043a\u0443\u0440\u0441 \u043f\u043e\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0432 <a href=\"https:\/\/shad.yandex.ru\/\"><u>\u0428\u0410\u0414<\/u><\/a> (<a href=\"https:\/\/github.com\/yandexdataschool\/Practical_RL\"><u>\u0433\u0438\u0442\u0445\u0430\u0431 \u043a\u0443\u0440\u0441\u0430<\/u><\/a>\u00a0).<\/p>\n<p>PPO \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0435\u0448\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u0438\u0437\u00a0\u043f\u0440\u043e\u0431\u043b\u0435\u043c A2C\u00a0\u2014 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u00a0\u2014 \u043d\u043e\u00a0\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438 \u043f\u0440\u0438\u0432\u043d\u043e\u0441\u0438\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438: \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443, \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u0443;<\/p>\n<\/li>\n<li>\n<p>\u0432\u0441\u0451\u00a0\u0436\u0435 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u043e\u0434 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u00a0\u0442\u043e\u0440\u0447\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0443\u00a0PPO \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438 \u043e\u043d \u043a\u00a0\u043d\u0438\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d\u00a0\u2014 \u0432\u0430\u0441 \u0436\u0434\u0451\u0442 \u043f\u043e\u0438\u0441\u043a \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u043e\u00a0\u0441\u0435\u0442\u043a\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u00a0\u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0447\u0430\u0441\u0442\u043e \u0441\u043e\u0432\u0435\u0442\u0443\u044e\u0442 \u043d\u0435\u00a0\u0437\u0430\u0432\u043e\u0434\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434\u00a0V\u2011\u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0430\u00a0\u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0434\u0432\u0443\u0445\u0433\u043e\u043b\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0433\u0434\u0435 \u0438\u0437\u00a0\u043e\u0431\u0449\u0435\u0433\u043e \u0442\u0435\u043b\u0430 \u0442\u043e\u0440\u0447\u0430\u0442 \u0434\u0432\u0435 \u0433\u043e\u043b\u043e\u0432\u044b: \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u0438 V\u2011\u043c\u043e\u0434\u0435\u043b\u044c. \u0412\u00a0YandexGPT \u043c\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c: \u043b\u043e\u0441\u0441\u044b \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u0441\u00a0\u043a\u0430\u043a\u0438\u043c\u2011\u0442\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c (\u0430 \u0435\u0449\u0451 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c\u00a0\u0431\u044b \u0435\u0433\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f). \u041d\u0435\u0443\u0434\u0430\u0447\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0432\u0435\u0434\u0451\u0442\u00a0\u043b\u0438\u0431\u043e \u043a\u00a0\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0V \u043d\u0435\u00a0\u0443\u0447\u0438\u0442\u0441\u044f,\u00a0\u043b\u0438\u0431\u043e \u043a\u00a0\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442 \u043d\u0430\u00a0\u0441\u0435\u0431\u044f \u0432\u0441\u0435 \u0441\u0438\u043b\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430, \u0438 \u0430\u0433\u0435\u043d\u0442 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u043d\u0435\u00a0\u0442\u043e\u0440\u0442.<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u044f\u0434 \u0440\u0430\u0431\u043e\u0442, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0449\u0438\u0445 \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442\u00a0V\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c,\u00a0\u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u0443\u044e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u0435\u0451. \u041c\u044b \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u044d\u0442\u043e\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0441\u00a0YandexGPT \u0438 \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u043e\u00a0\u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430. \u0412 50% \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432, \u043f\u0440\u0438\u00a0\u043d\u0435\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u00a0\u0436\u0435\u0441\u0442\u043e\u0447\u0430\u0439\u0448\u0435 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u0425\u043e\u0442\u044f \u0438\u0437\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0V\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0436\u0438\u0437\u043d\u044c, \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043d\u0435\u00a0\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u00a0\u043d\u0435\u0433\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u043a\u0430\u043a\u0443\u044e\u2011\u043d\u0438\u0431\u0443\u0434\u044c The\u2011One\u2011\u041a\u0438\u043b\u043b\u0435\u0440\u2011\u0424\u0438\u0447\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442 \u0432\u0430\u0448 PPO \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430\u00a0\u2014 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f advantage. Advantage \u0432\u00a0RL \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0437\u0430\u00a0\u043e\u0442\u0432\u0435\u0442 \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\psi(s_i, a_i) - V_\\phi(s_i)\" alt=\"r_\\psi(s_i, a_i) - V_\\phi(s_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b91\/757\/802\/b917578022cb3230d4dcf83013e6c015.svg\" width=\"153\" height=\"23\"\/>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0430\u0433\u0435\u043d\u0442\u0430. \u0415\u0441\u043b\u0438 \u044d\u0442\u0443 \u0448\u0442\u0443\u043a\u0443 \u043e\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u00a0\u0431\u0430\u0442\u0447\u0443 \u043d\u0430\u00a0\u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u0443\u044e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u0442\u043e \u0432\u044b, \u0441\u00a0\u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043f\u043e\u0442\u0435\u0440\u044f\u0435\u0442\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u043a\u00a0\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443, \u0430\u00a0\u0441\u00a0\u0434\u0440\u0443\u0433\u043e\u0439\u00a0\u2014 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0443\u044e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c. \u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c.<\/p>\n<h2>\u0414\u043e\u043c\u0435\u043d\u043d\u044b\u0439 \u0441\u0434\u0432\u0438\u0433, \u043e\u043d \u0436\u0435 \u2014 \u0413\u0443\u0434\u0445\u0430\u0440\u0442\u0438\u043d\u0433<\/h2>\n<p>\u0412\u044b \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u0443. \u0412\u0441\u0435\u0433\u0434\u0430\u00a0\u043b\u0438 \u044d\u0442\u043e \u043a\u0440\u0443\u0442\u043e? \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c\u00a0\u0431\u044b, \u043c\u044b \u044d\u0442\u043e\u0433\u043e \u0438 \u0445\u043e\u0442\u0435\u043b\u0438\u00a0\u2014 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430\u00a0\u2014 \u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430. \u0412\u0435\u0434\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u043d\u0430\u043c \u0432\u044b\u0434\u0430\u0451\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043d\u0430\u00a0\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435,\u00a0\u2014 \u0443\u00a0\u043d\u0435\u0451 \u0435\u0441\u0442\u044c \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430.<\/p>\n<p>\u0425\u0443\u0436\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043e\u0442\u00a0\u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0442\u043e\u00a0RL \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u00a0\u0442\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043b\u043e\u0445\u043e. \u041f\u0440\u043e\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043d\u0430\u00a0\u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0438\u0436\u0435. <\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0435\u0431\u0435, \u0447\u0442\u043e\u00a0\u0432\u0430\u0448 \u0430\u0433\u0435\u043d\u0442 \u0441\u0442\u043e\u0438\u0442 \u0443\u00a0\u043f\u043e\u0434\u043d\u043e\u0436\u0438\u044f \u0433\u043e\u0440\u044b, \u0438 \u043e\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0435\u0433\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d5d\/7a4\/3ae\/d5d7a43ae7094a41f5fb6dde6e5a7093.svg\" width=\"10\" height=\"16\"\/> \u0432\u044b\u0448\u0435\u00a0\u2014 \u043b\u0443\u0447\u0448\u0435. \u0410\u0433\u0435\u043d\u0442 \u0438\u0437\u0443\u0447\u0430\u0435\u0442 \u0441\u0432\u043e\u0438 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043d\u0430\u0433\u0440\u0430\u0434\u0430: \u0435\u0441\u043b\u0438 \u0438\u0434\u0442\u0438 \u0432\u043f\u0440\u0430\u0432\u043e \u043f\u043e\u00a0\u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435, \u0442\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0440\u0430\u0441\u0442\u0451\u0442. \u0414\u0430\u043b\u0435\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438\u00a0\u2014 RL. \u042d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e\u00a0\u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u0434\u0442\u0438 \u0432\u043f\u0440\u0430\u0432\u043e\u00a0\u2014 \u044d\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u00a0\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043d\u0430\u0448\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u0420\u0430\u043d\u043e \u0438\u043b\u0438\u00a0\u043f\u043e\u0437\u0434\u043d\u043e, \u0430\u0433\u0435\u043d\u0442, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u0441\u0432\u0430\u043b\u0438\u0442\u0441\u044f \u0441\u00a0\u0433\u043e\u0440\u044b.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/501\/c81\/a8a\/501c81a8a7e6b81186faf0bb4c483a16.png\" width=\"1560\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/501\/c81\/a8a\/501c81a8a7e6b81186faf0bb4c483a16.png\"\/><\/figure>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0438\u0437\u2011\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0443\u0432\u043e\u0434\u0438\u0442 \u043d\u0430\u0441 \u0438\u0437\u00a0\u0442\u043e\u0433\u043e \u0434\u043e\u043c\u0435\u043d\u0430, \u0433\u0434\u0435 \u044d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u042d\u0442\u043e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%93%D1%83%D0%B4%D1%85%D0%B0%D1%80%D1%82%D0%B0\"><u>\u0437\u0430\u043a\u043e\u043d\u043e\u043c \u0413\u0443\u0434\u0445\u0430\u0440\u0442\u0430<\/u><\/a><u>:<\/u> \u0435\u0441\u043b\u0438 \u0443\u00a0\u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0439, \u043a\u0430\u043a\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b \u043d\u0430\u0447\u043d\u0451\u0442\u0435 \u0435\u0451 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u042d\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043b\u044e\u0431\u044b\u0445 KPI \u0432\u00a0\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445, \u043c\u0430\u043a\u0440\u043e\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0446\u0435\u043b\u044b\u0445 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432, \u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0430\u0448\u0435\u0439 \u043f\u0440\u043e\u043a\u0441\u0438\u2011\u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0432\u00a0alignment.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0434\u043b\u044f\u00a0YandexGPT \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0438\u0437\u00a0\u044d\u0442\u0430\u043f\u043e\u0432 \u043c\u044b \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u043b\u0438 \u0437\u0430\u0431\u0430\u0432\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442: \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u043b\u0430 \u043f\u043b\u043e\u0445\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u0441\u00a0\u043a\u0440\u0430\u0441\u0438\u0432\u044b\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443 \u0431\u0435\u0437\u00a0\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0422\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u043b\u043e \u0438\u0437\u2011\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u0432\u00a0\u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0434\u043b\u044f\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u044b\u00a0\u0431\u044b\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0433\u0434\u0435 \u043e\u0442\u0432\u0435\u0442 \u0441\u00a0\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043e\u0442\u0432\u0435\u0442 \u0431\u0435\u0437\u00a0\u043d\u0435\u0433\u043e, \u0430\u00a0\u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0435\u00a0\u0431\u044b\u043b\u043e \u0441\u043e\u0432\u0441\u0435\u043c. \u0412\u043e\u0442 \u0438 \u0441\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0443\u0434\u0445\u0430\u0440\u0442\u0438\u043d\u0433.<\/p>\n<p>\u0421\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043f\u043e\u0431\u043e\u0440\u043e\u0442\u044c \u044d\u0442\u0443 \u0431\u0435\u0434\u0443 \u043f\u043e\u00a0\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u0434\u0432\u0430.<\/p>\n<p><strong>\u041f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431<\/strong>\u00a0\u2014 \u043d\u0435\u00a0\u0434\u0430\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442\u00a0\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (\u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0442\u00a0SFT\u2011\u043c\u043e\u0434\u0435\u043b\u0438). \u0415\u0441\u043b\u0438 \u0432\u0430\u0448 \u0430\u0433\u0435\u043d\u0442 \u043d\u0435\u00a0\u0443\u0445\u043e\u0434\u0438\u0442 \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442\u00a0\u043f\u043e\u0434\u043d\u043e\u0436\u0438\u044f, \u043e\u043d, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0435\u00a0\u0441\u0432\u0430\u043b\u0438\u0442\u0441\u044f \u0441\u00a0\u0433\u043e\u0440\u044b. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0435 KL\u2011\u0448\u0442\u0440\u0430\u0444 \u0437\u0430\u00a0\u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 PPO\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u00a0SFT\u2011\u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\big[ r_\\psi(s, a) - \\beta \\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\big] \\rightarrow \\max_\\theta \" alt=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\big[ r_\\psi(s, a) - \\beta \\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\big] \\rightarrow \\max_\\theta \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1dd\/6a5\/e20\/1dd6a5e20bbf8fd4c47ea2c6ff21f514.svg\" width=\"455\" height=\"35\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/357\/f44\/99f\/357f4499f0766cde7896683a3c63c77a.svg\" width=\"11\" height=\"20\"\/> \u2014 \u044d\u0442\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0439 \u0441\u0438\u043b\u0443 \u0448\u0442\u0440\u0430\u0444\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u041a\u0430\u043a \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c KL-\u0448\u0442\u0440\u0430\u0444<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438 \u0448\u0442\u0440\u0430\u0444 \u0437\u0430\u00a0\u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0SFT\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 KL\u2011\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e\u00a0\u2014 \u043c\u0435\u0440\u0443 \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0432\u0443\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0434\u0440\u0443\u0433 \u043e\u0442\u00a0\u0434\u0440\u0443\u0433\u0430. \u041f\u043e\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) = \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) }\" alt=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) = \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d3\/67e\/ac5\/7d367eac562c88119ae006523e34657d.svg\" width=\"418\" height=\"50\"\/><\/p>\n<p>\u0427\u0435\u0441\u0442\u043d\u044b\u0439 KL\u2011\u0448\u0442\u0440\u0430\u0444 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435. \u041d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 Monte\u2011Carlo\u2011\u043e\u0446\u0435\u043d\u043a\u0443 \u0442\u043e\u0439 \u0438\u043b\u0438\u00a0\u0438\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0433\u0440\u0443\u0431\u043e\u0441\u0442\u0438. \u0421\u0430\u043c\u044b\u0439 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u00a0\u2014 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u043e\u0442\u0432\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbc\/2e3\/068\/cbc2e3068befb2798c204a30bc07ae29.svg\" width=\"10\" height=\"12\"\/> \u0438\u0437\u00a0\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c6d\/2cd\/b24\/c6d2cdb24afe837bea5fc74d9207c1e7.svg\" width=\"20\" height=\"15\"\/> \u0438 \u043e\u0446\u0435\u043d\u0438\u0442\u044c KL \u043f\u043e\u00a0\u043d\u0435\u043c\u0443 (\u0435\u0441\u043b\u0438 \u0440\u0435\u0447\u044c \u043f\u0440\u043e\u00a0PPO, \u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0438 \u0442\u0430\u043a \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0435 \u0434\u043b\u044f\u00a0\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\approx \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) } ,\\;\\;\\; a \\sim \\pi_\\theta(a|s)\" alt=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\approx \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) } ,\\;\\;\\; a \\sim \\pi_\\theta(a|s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9a\/38f\/5dd\/a9a38f5ddb120f61e501f54dbf70d041.svg\" width=\"459\" height=\"50\"\/><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b \u0432\u044b\u0434\u0430\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435\u00a0\u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430, \u0430\u00a0\u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043a\u0430\u043a\u2011\u0442\u043e \u0442\u0430\u043a:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\approx \\sum_{t=0}^T \\log \\frac{ \\pi_\\theta(a_t|s, \\dots, a_{t-1}) }{ \\pi_\\text{SFT}(a_t|s, \\dots, a_{t-1}) } ,\\;\\;\\; a \\sim \\pi_\\theta(a|s)\" alt=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\approx \\sum_{t=0}^T \\log \\frac{ \\pi_\\theta(a_t|s, \\dots, a_{t-1}) }{ \\pi_\\text{SFT}(a_t|s, \\dots, a_{t-1}) } ,\\;\\;\\; a \\sim \\pi_\\theta(a|s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e21\/799\/a35\/e21799a355efc1f614b7ae32f88beb30.svg\" width=\"576\" height=\"60\"\/><\/p>\n<p>\u0412\u00a0YandexGPT \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u00a0\u2014 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0441\u0443\u043c\u043c\u0443 \u043f\u043e\u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0445 KL\u2011\u0448\u0442\u0440\u0430\u0444\u043e\u0432:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\approx \\sum_{t=0}^T \\text{KL} \\big( \\pi_\\theta(a_t|s, \\dots, a_{t-1}) || \\pi_\\text{SFT}(a_t|s, \\dots, a_{t-1}) \\big)\" alt=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\approx \\sum_{t=0}^T \\text{KL} \\big( \\pi_\\theta(a_t|s, \\dots, a_{t-1}) || \\pi_\\text{SFT}(a_t|s, \\dots, a_{t-1}) \\big)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f4\/b95\/464\/9f4b95464917ccfc942a36bcbf9bd598.svg\" width=\"621\" height=\"60\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\dots = \\sum_{t=0}^T \\sum_{a \\in \\text{vocab}} \\pi_\\theta(a|s, \\dots, a_{t-1})\\log \\frac{ \\pi_\\theta(a|s, \\dots, a_{t-1}) }{ \\pi_\\text{SFT}(a|s, \\dots, a_{t-1}) }\" alt=\"\\dots = \\sum_{t=0}^T \\sum_{a \\in \\text{vocab}} \\pi_\\theta(a|s, \\dots, a_{t-1})\\log \\frac{ \\pi_\\theta(a|s, \\dots, a_{t-1}) }{ \\pi_\\text{SFT}(a|s, \\dots, a_{t-1}) }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f7\/5f7\/0d3\/1f75f70d3462ac6b8f923552b8bf1364.svg\" width=\"471\" height=\"61\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c, \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0430\u00a0\u0447\u0435\u0441\u0442\u043d\u043e\u0435 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u00a0\u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u043c \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c \u0438\u0437\u00a0\u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0441\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431<\/strong>\u00a0\u2014 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043d\u0430\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u043a\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0432\u0435\u0434\u0451\u0442 RL. \u041e\u0431\u0443\u0447\u0430\u0435\u0442\u0435 PPO, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0435 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043f\u043e\u00a0\u043e\u0442\u0432\u0435\u0442\u0443 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u0430\u043a\u043e\u0439\u2011\u043d\u0438\u0431\u0443\u0434\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0438 \u043e\u0442\u0434\u0430\u0451\u0442\u0435 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u0430\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c, \u0443\u00a0\u043a\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442 \u043b\u0443\u0447\u0448\u0435: \u0443\u00a0SFT \u0438\u043b\u0438\u00a0\u0443\u00a0PPO. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0432\u00a0\u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u0443.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u00a0\u2014 \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e\u0435 \u0437\u043b\u043e. \u041a\u0440\u0443\u0442\u043e, \u0435\u0441\u043b\u0438 \u0443\u0434\u0430\u0451\u0442\u0441\u044f \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0431\u0435\u0437\u00a0\u043d\u0435\u0433\u043e,\u00a0\u2014 \u0437\u043d\u0430\u0447\u0438\u0442, \u0443\u00a0\u0432\u0430\u0441 \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430. \u041e\u0431\u044b\u0447\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0431\u0435\u0437\u00a0\u043d\u0435\u0433\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u00a0\u0432\u044b\u0445\u043e\u0434\u0438\u0442. \u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u00a0\u2014 \u044d\u0442\u043e \u0434\u043e\u043b\u0433\u0438\u0439 \u0438 \u0442\u0435\u0440\u043d\u0438\u0441\u0442\u044b\u0439 \u043f\u0443\u0442\u044c, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u043d\u043e\u00a0\u0438\u043c\u0435\u043d\u043d\u043e \u043e\u043d \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0441\u043a\u043e\u0440\u0435\u0435 \u0440\u0435\u0448\u0430\u0435\u0442, \u0447\u0435\u043c \u0437\u0430\u043c\u0430\u043b\u0447\u0438\u0432\u0430\u0435\u0442, \u0432\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0430.<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0431\u043e\u043b\u0435\u0435 \u044d\u043a\u0437\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u0435\u0449\u0451 \u043d\u0435\u00a0\u0443\u0441\u043f\u0435\u0432\u0448\u0438\u0435 \u043e\u0431\u0440\u0435\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Uncertainty_quantification\"><u>\u044d\u043f\u0438\u0441\u0442\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438<\/u><\/a> \u0432\u00a0\u043e\u0446\u0435\u043d\u043a\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b\u00a0\u2014 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u043e\u0439 \u0441\u00a0\u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0434\u0438\u043d \u0438\u0437\u00a0\u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u044d\u0442\u0443 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c\u00a0\u2014 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434 \u043d\u0430\u00a0\u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043d\u0430\u00a0\u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u043e\u0439 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u0441\u043e\u0432. \u0415\u0441\u043b\u0438 \u0447\u043b\u0435\u043d\u044b \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0441\u043e\u0433\u043b\u0430\u0448\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043e\u0446\u0435\u043d\u043a\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e\u00a0\u043e\u043d\u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u0432\u00a0\u043d\u0435\u0439. \u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u00a0\u043e\u043f\u0430\u0441\u043a\u043e\u0439. \u041c\u043e\u0436\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, variance \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0432\u044b\u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0430\u0433\u0435\u043d\u0442\u0430.<\/p>\n<h2>\u0410 \u043c\u043e\u0436\u043d\u043e \u0447\u0443\u0442\u044c \u0434\u0435\u0448\u0435\u0432\u043b\u0435? Direct Preference Optimization<\/h2>\n<p>PPO\u00a0\u2014 \u044d\u0442\u043e \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c: \u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c, \u043e\u043d \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d \u0432\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0434\u043e\u043b\u0433\u043e \u0443\u0447\u0438\u0442\u0441\u044f, \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0449\u0435\u043f\u043e\u0442\u043a\u0443 \u0443\u0434\u0430\u0447\u0438. \u041d\u043e\u00a0\u0435\u0441\u043b\u0438 \u0432\u0441\u0435 \u0437\u0432\u0451\u0437\u0434\u044b \u0441\u043e\u0448\u043b\u0438\u0441\u044c, \u043e\u043d \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u043d\u0430\u0433\u0440\u0430\u0434. \u0410\u00a0\u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u0442\u043e\u00a0\u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043d\u043e\u00a0\u0434\u0435\u0448\u0435\u0432\u043b\u0435? \u0414\u0430, \u043c\u043e\u0436\u043d\u043e! \u041c\u043e\u0436\u0435\u0442, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0438 \u043d\u0435\u00a0\u0441\u043e\u0432\u0441\u0435\u043c \u0442\u043e\u00a0\u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043d\u043e\u00a0\u043e\u0447\u0435\u043d\u044c \u0431\u043b\u0438\u0437\u043a\u043e \u043f\u043e\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443: \u0433\u0434\u0435\u2011\u0442\u043e \u043b\u0443\u0447\u0448\u0435, \u0433\u0434\u0435\u2011\u0442\u043e \u0445\u0443\u0436\u0435.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2404.15617\"><u>Direct Preference Optimization (DPO)<\/u><\/a>\u00a0\u2014 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0439 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0432\u00a0RLHF \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u043d\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u0412\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e \u0438\u0434\u0435\u044f \u043f\u0440\u043e\u0441\u0442\u0430: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u00a0\u043f\u0430\u0440\u0430\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c\u0438, \u043a\u0442\u043e \u043b\u0443\u0447\u0448\u0435, \u043a\u0430\u043a\u00a0\u043c\u044b \u0434\u0435\u043b\u0430\u043b\u0438 \u0434\u043b\u044f\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u0410\u00a0\u043f\u043e\u0442\u043e\u043c \u0441\u0440\u0430\u0437\u0443 \u043a\u0430\u043a\u2011\u0442\u043e \u043e\u0431\u0443\u0447\u0438\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043d\u0430\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u043d\u0438\u0431\u0443\u0434\u044c \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0439 \u043b\u043e\u0441\u0441, \u0447\u0442\u043e\u0431\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u043b \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0447\u0430\u0449\u0435, \u0430\u00a0\u043f\u043b\u043e\u0445\u0438\u0435\u00a0\u2014 \u0440\u0435\u0436\u0435.<\/p>\n<p>DPO \u043e\u0442\u00a0\u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u044b\u0433\u043e\u0434\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u0438\u043c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u0438 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u00a0\u043d\u0438\u043c \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0431\u043b\u0438\u0436\u0435. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u0430\u0431\u0430\u0432\u043d\u044b\u0439, \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0434\u0430\u0432\u043d\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0444\u0430\u043a\u0442 \u043f\u0440\u043e\u00a0\u0442\u043e, \u043a\u0430\u043a\u00a0\u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0432\u00a0\u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f KL\u2011\u0448\u0442\u0440\u0430\u0444 \u0438\u0437\u00a0\u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0433\u043b\u0430\u0432\u044b. \u041c\u044b \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f\u00a0\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0433\u0440\u0430\u0434\u0443:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\pi^*(a | s) =\\frac{1}{Z(s)} \\pi_{\\text{SFT}}(a | s) e^{ \\frac{1}{\\beta} r(s, a) }\" alt=\"\\pi^*(a | s) =\\frac{1}{Z(s)} \\pi_{\\text{SFT}}(a | s) e^{ \\frac{1}{\\beta} r(s, a) }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e8\/97d\/b6d\/6e897db6d8f111f1ad149de12bad03f5.svg\" width=\"271\" height=\"48\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Z(s) = \\sum_a e^{ \\frac{1}{\\beta} r_(s, a) }\" alt=\"Z(s) = \\sum_a e^{ \\frac{1}{\\beta} r_(s, a) }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04e\/d36\/c69\/04ed36c69aec3abc4c227bfe42f5448e.svg\" width=\"154\" height=\"49\"\/><\/p>\n<p>\u0417\u0430\u0433\u0432\u043e\u0437\u0434\u043a\u0430 \u0442\u0443\u0442 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u044d\u0442\u0443 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u00a0\u0442\u0430\u043a\u043e\u043c \u0432\u0438\u0434\u0435: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Z(s)\" alt=\"Z(s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea6\/8ee\/468\/ea68ee4687a528317381adc6915f6e8f.svg\" width=\"39\" height=\"22\"\/> \u0437\u0434\u0435\u0441\u044c\u00a0\u2014 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0427\u0442\u043e\u0431\u044b \u0435\u0451 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c, \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e. \u042d\u0442\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e. \u041d\u0443 \u0438 \u043b\u0430\u0434\u043d\u043e, \u043c\u044b \u043e\u0442\u00a0\u044d\u0442\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Z\" alt=\"Z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/677\/4a2\/6fc\/6774a26fcd6e2b67362ee1b1bbd28961.svg\" width=\"14\" height=\"17\"\/> \u0438\u0437\u0431\u0430\u0432\u0438\u043c\u0441\u044f \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435.<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0433\u0440\u0430\u0434\u0443<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041e\u0442\u043a\u0443\u0434\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u0437\u044f\u043b\u0430\u0441\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0430, \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0449\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u0443? \u0415\u0451 \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438\u0437 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0441 KL-\u0448\u0442\u0440\u0430\u0444\u043e\u043c. \u0417\u0430\u043f\u0438\u0448\u0435\u043c \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0434\u043b\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s \\in \\mathcal{D}\" alt=\"s \\in \\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ac\/13e\/418\/1ac13e418cbd89f868dbaab03dd8d6f2.svg\" width=\"48\" height=\"17\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\big[ r_\\psi(s, a) - \\beta \\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\big] \\rightarrow \\max_\\theta\" alt=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\big[ r_\\psi(s, a) - \\beta \\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) \\big] \\rightarrow \\max_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e97\/551\/76a\/e9755176a00401adf64fde9a70182ebb.svg\" width=\"455\" height=\"35\"\/><\/p>\n<p>\u0420\u0430\u0441\u043a\u0440\u043e\u0435\u043c KL\u2011\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e \u043f\u043e\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) = \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) }\" alt=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) \\big) = \\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1e\/f04\/74a\/e1ef0474ad0f847ccd386cb328e58fb8.svg\" width=\"418\" height=\"50\"\/><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432 \u043d\u0430\u0448 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\Big[ r_\\psi(s, a) - \\beta \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) } \\Big] \\rightarrow \\max_\\theta\" alt=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\Big[ r_\\psi(s, a) - \\beta \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) } \\Big] \\rightarrow \\max_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/694\/9c1\/106\/6949c1106afeab55ce81363f92a9f5bb.svg\" width=\"380\" height=\"50\"\/><\/p>\n<p>\u0418\u0434\u0435\u044f \u043d\u0430\u0448\u0438\u0445 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0439 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0432\u00a0\u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0443\u0436\u0435 \u0434\u0440\u0443\u0433\u043e\u0439 KL\u2011\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438. \u0427\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u00a0\u0431\u044b\u043b \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u0435\u043d, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-\\beta\" alt=\"-\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/750\/146\/8cf\/7501468cf0177846b66d0f4593c1de48.svg\" width=\"26\" height=\"20\"\/>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0434\u0435\u043b\u0438\u043c \u043d\u0430\u00a0\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e, \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430\u00a0\u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\Big[ \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) } - \\frac{1}{\\beta} r_\\psi(s, a) \\Big] \\rightarrow \\min_\\theta\" alt=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\Big[ \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) } - \\frac{1}{\\beta} r_\\psi(s, a) \\Big] \\rightarrow \\min_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/166\/88c\/772\/16688c772ccf6ac6b57f3377a384821c.svg\" width=\"383\" height=\"50\"\/><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0448\u0430\u0433, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439, \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0432\u00a0\u044d\u0442\u043e\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 KL\u2011\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e: \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac{1}{\\beta} r_\\psi(s, a) = \\log e^{ \\frac{1}{\\beta}r_\\psi(s, a)\u00a0 }\" alt=\"\\frac{1}{\\beta} r_\\psi(s, a) = \\log e^{ \\frac{1}{\\beta}r_\\psi(s, a)\u00a0 }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f2\/840\/17d\/5f284017d165a509d8450f0b697f0b6a.svg\" width=\"202\" height=\"47\"\/><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0438 \u0441\u0440\u0430\u0437\u0443\u00a0\u0436\u0435 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430: \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u0432\u00a0\u2014 \u044d\u0442\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\Big[ \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) e^{ \\frac{1}{\\beta}r_\\psi(s, a)  } } \\Big] \\rightarrow \\min_\\theta\" alt=\"\\mathbf{E}_{a \\sim \\pi_\\theta(a | s)} \\Big[ \\log \\frac{ \\pi_\\theta(a|s) }{ \\pi_\\text{SFT}(a|s) e^{ \\frac{1}{\\beta}r_\\psi(s, a)  } } \\Big] \\rightarrow \\min_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/424\/0ea\/823\/4240ea823a9b9578387fe16f02ae087a.svg\" width=\"344\" height=\"59\"\/><\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u00a0\u2014 \u044d\u0442\u043e \u043d\u0438 \u0447\u0442\u043e\u00a0\u0438\u043d\u043e\u0435, \u043a\u0430\u043a\u00a0KL\u2011\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/624\/805\/2b1\/6248052b10141a65050d3758a78d5bc9.svg\" width=\"20\" height=\"15\"\/> \u0438 \u043d\u0435\u043e\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\text{SFT}(a|s) e^{ \\frac{1}{\\beta}r_\\psi(s, a)\u00a0 }\" alt=\"\\pi_\\text{SFT}(a|s) e^{ \\frac{1}{\\beta}r_\\psi(s, a)\u00a0 }\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ef\/0f1\/a12\/4ef0f1a124191eac4fb2f575d71e4386.svg\" width=\"146\" height=\"31\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) e^{ \\frac{1}{\\beta}r_\\psi(s, a)  } \\big) \\rightarrow \\min_\\theta\" alt=\"\\text{KL} \\big( \\pi_\\theta(a|s) || \\pi_\\text{SFT}(a|s) e^{ \\frac{1}{\\beta}r_\\psi(s, a)  } \\big) \\rightarrow \\min_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c93\/6b5\/62d\/c936b562db2e0502ec78911a1ddb3a8a.svg\" width=\"325\" height=\"42\"\/><\/p>\n<p>\u0418\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e\u00a0\u043c\u0438\u043d\u0438\u043c\u0443\u043c KL\u2011\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b. \u0421\u00a0\u0443\u0447\u0451\u0442\u043e\u043c \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\pi^*(a | s) =\\frac{1}{Z(s)} \\pi_{\\text{SFT}}(a | s) e^{ \\frac{1}{\\beta} r(s, a) } \" alt=\"\\pi^*(a | s) =\\frac{1}{Z(s)} \\pi_{\\text{SFT}}(a | s) e^{ \\frac{1}{\\beta} r(s, a) } \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/654\/97f\/680\/65497f6806d4e23fb5cdb8d81fb58663.svg\" width=\"271\" height=\"48\"\/><\/p>\n<p>\u0427.\u0422.\u0414.<\/p>\n<\/div>\n<\/details>\n<p>\u041d\u0430\u043c \u0432\u00a0\u044d\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0435\u0451 \u043f\u0435\u0440\u0435\u0432\u0451\u0440\u043d\u0443\u0442\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c: \u0432\u044b\u0440\u0430\u0437\u0438\u043c \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"r(s, a) = \\beta \\log \\frac{ \\pi^*(a | s) }{\\pi_{\\text{SFT}}(a | s)} + \\beta\\log Z(s) \" alt=\"r(s, a) = \\beta \\log \\frac{ \\pi^*(a | s) }{\\pi_{\\text{SFT}}(a | s)} + \\beta\\log Z(s) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/525\/aa5\/10f\/525aa510f0c98077ac356b750fba4da1.svg\" width=\"314\" height=\"50\"\/><\/p>\n<p>\u041d\u0438\u043a\u0430\u043a\u043e\u0439 \u043c\u0430\u0433\u0438\u0438 \u043d\u0435\u00a0\u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u0443. \u0427\u0442\u043e\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e: \u0430\u00a0\u0447\u0442\u043e\u00a0\u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0432\u00a0\u044d\u0442\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u00a0\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi^*\" alt=\"\\pi^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ccd\/fe0\/c92\/ccdfe0c92f9a2ad550bf52bc0233a747.svg\" width=\"20\" height=\"18\"\/>, \u0430\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u0443\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/551\/177\/725\/55117772533218537d2a2b17b98188be.svg\" width=\"20\" height=\"15\"\/>. \u041f\u043e\u043b\u0438\u0442\u0438\u043a\u0430, \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u044f\u00a0\u0432\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043b\u044f\u00a0\u0434\u0440\u0443\u0433\u043e\u0439. \u041f\u043e\u00a0\u044d\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u043c\u044b \u043c\u043e\u0433\u043b\u0438\u00a0\u0431\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/36d\/303\/f0a\/36d303f0ac8e04ff1492eb7c40c8cce8.svg\" width=\"20\" height=\"15\"\/> \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u044d\u0442\u043e \u0434\u0430\u0436\u0435 \u044f\u0432\u043d\u043e \u0437\u0430\u043f\u0438\u0448\u0435\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"r_\\theta(s, a) = \\beta \\log \\frac{ \\pi_\\theta(a | s) }{\\pi_{\\text{SFT}}(a | s)} + \\beta \\log Z(s)\" alt=\"r_\\theta(s, a) = \\beta \\log \\frac{ \\pi_\\theta(a | s) }{\\pi_{\\text{SFT}}(a | s)} + \\beta \\log Z(s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/05c\/e3a\/f07\/05ce3af0792538745bc2963c11b5a04a.svg\" width=\"322\" height=\"50\"\/><\/p>\n<p>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u043d\u0435\u00a0\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f, \u0430\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u0430\u044f, \u0430\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u0441\u00a0\u0438\u043d\u0434\u0435\u043a\u0441\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\theta\" alt=\"r_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7c\/7b2\/feb\/a7c7b2feb25e3a7f4f785ab3657d99fb.svg\" width=\"17\" height=\"15\"\/>, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043e\u043d\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u044f\u0432\u043d\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438. \u042d\u0442\u043e \u0442\u0430 \u043d\u0430\u0433\u0440\u0430\u0434\u0430, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d12\/548\/f70\/d12548f708e8fa09a2a4ed586efa6d28.svg\" width=\"20\" height=\"15\"\/> \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430.<\/p>\n<p>\u0423\u00a0\u0442\u0430\u043a\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0435\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u0432\u043e\u043e\u0431\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u043d\u0435\u00a0\u0434\u043e\u043b\u0436\u043d\u0430 \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043e\u0442\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0435 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b, \u043d\u0435\u00a0\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0435\u0439 \u043e\u0442\u00a0\u043e\u0442\u0432\u0435\u0442\u0430. \u0422\u043e \u0435\u0441\u0442\u044c \u0435\u0441\u043b\u0438 \u0438\u0437\u00a0\u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u043a\u0438\u043d\u0443\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta \\log Z(s)\" alt=\"\\beta \\log Z(s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/80f\/3d0\/848\/80f3d084868e23ce31064b26b94c7a4a.svg\" width=\"81\" height=\"22\"\/>, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0451 \u0442\u0430\u00a0\u0436\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/058\/a4a\/13c\/058a4a13c7efd9a08a3a13b23e755757.svg\" width=\"20\" height=\"15\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"r_\\theta(s, a) = \\beta \\log \\frac{ \\pi_\\theta(a | s) }{\\pi_{\\text{SFT}}(a | s)}\" alt=\"r_\\theta(s, a) = \\beta \\log \\frac{ \\pi_\\theta(a | s) }{\\pi_{\\text{SFT}}(a | s)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a3c\/181\/14e\/a3c18114e6533dd6ee3a7a1f4d9ded36.svg\" width=\"217\" height=\"50\"\/><\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0444\u0438\u043d\u0442 \u0443\u0448\u0430\u043c\u0438: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b44\/cbe\/ce1\/b44cbece1d074168e66a5236d513673d.svg\" width=\"9\" height=\"17\"\/> \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0433\u0440\u0430\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\theta\" alt=\"r_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be8\/f11\/fc9\/be8f11fc993701901b49cf2154c27028.svg\" width=\"17\" height=\"15\"\/>\u00a0\u0431\u044b\u043b\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u0432\u00a0\u0441\u043c\u044b\u0441\u043b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0411\u0440\u044d\u0434\u043b\u0438\u2011\u0422\u0435\u0440\u0440\u0438 (\u0441\u043c. \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\sum_{ (s, winner, loser) \\in \\mathbf{D} }\u00a0 \\log \\sigma( r_\\theta (s, winner) - r_\\theta (s, loser) ) \\rightarrow \\max_\\theta\" alt=\"\\sum_{ (s, winner, loser) \\in \\mathbf{D} }\u00a0 \\log \\sigma( r_\\theta (s, winner) - r_\\theta (s, loser) ) \\rightarrow \\max_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff0\/043\/0c0\/ff00430c035f684edf69b615397a31dd.svg\" width=\"475\" height=\"49\"\/><\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0443\u00a0\u043d\u0430\u0441 \u043d\u0435\u00a0\u0431\u0443\u0434\u0435\u0442\u00a0\u2014 \u043c\u044b \u0432\u0435\u0434\u044c \u0443\u043c\u0435\u0435\u043c \u0432\u044b\u0440\u0430\u0436\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443. \u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f\u00a0\u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438. \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0432\u00a0\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0435, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u00a0\u043d\u0435\u0433\u043e \u0437\u0430\u043f\u0438\u0441\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\sum_{ (s, winner, loser) \\in \\mathbf{D} }\u00a0 \\log \\sigma \\big( \\beta \\big[ \\log \\frac{ \\pi_\\theta(winner | s) }{\\pi_{\\text{SFT}}(winner | s)} - \\log \\frac{ \\pi_\\theta(loser | s) }{\\pi_{\\text{SFT}}(loser | s)} \\big] \\big) \\rightarrow \\max_\\theta\" alt=\"\\sum_{ (s, winner, loser) \\in \\mathbf{D} }\u00a0 \\log \\sigma \\big( \\beta \\big[ \\log \\frac{ \\pi_\\theta(winner | s) }{\\pi_{\\text{SFT}}(winner | s)} - \\log \\frac{ \\pi_\\theta(loser | s) }{\\pi_{\\text{SFT}}(loser | s)} \\big] \\big) \\rightarrow \\max_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62a\/cfe\/04a\/62acfe04a0f1b7ae1fd8a6ac8e892769.svg\" width=\"618\" height=\"59\"\/><\/p>\n<p>\u042d\u0442\u043e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0432\u0430\u0448\u0438\u043c \u043b\u044e\u0431\u0438\u043c\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c. <\/p>\n<p>\u0418\u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438: <\/p>\n<ul>\n<li>\n<p>\u0432\u044b\u0440\u0430\u0437\u0438\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443,<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u044d\u0442\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432\u00a0\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u0440\u0435\u0448\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u043c\u044b \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0440\u0435\u0448\u0430\u0435\u043c \u0438 \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61b\/c43\/977\/61bc4397778ee8c006bba7ac08867ee6.svg\" width=\"20\" height=\"15\"\/>\u00a0\u2014 \u044d\u0442\u043e \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_\\theta\" alt=\"r_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d62\/c2e\/12b\/d62c2e12b1dcc7f2093918bd5e9c95cc.svg\" width=\"17\" height=\"15\"\/>. \u0418 \u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u043c\u044b \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u044c\u044e\u00a0\u2014 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e2\/4f8\/05d\/9e24f805d23dc96fa5968d060b01398b.svg\" width=\"20\" height=\"15\"\/>. \u0412\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u043e\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u0443, \u0443\u00a0\u043d\u0430\u0441 \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430.<\/p>\n<p>DPO \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0442\u00a0\u0432\u0430\u0441 \u0441\u0431\u043e\u0440\u0430 \u0442\u0430\u043a\u043e\u0439\u00a0\u0436\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043a\u0430\u043a\u00a0\u0434\u043b\u044f\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u043e\u00a0\u043d\u0430\u00a0\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043b\u043e\u0441\u0441. \u0412\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442\u00a0PPO, \u0432\u00a0DPO \u043d\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041a\u0430\u043a\u00a0\u0438 \u043d\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0443\u0447\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041f\u043e\u00a0\u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 DPO \u0432\u0441\u0451\u00a0\u0436\u0435 \u0434\u043e\u0440\u043e\u0436\u0435 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0432\u00a0\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e\u00a0\u0438 SFT\u00a0\u2014 \u0435\u0451 \u0442\u043e\u0436\u0435 \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438. \u0412\u00a0\u0445\u043e\u0434\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0434 YandexGPT \u043c\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438, \u0447\u0442\u043e\u00a0DPO \u0441\u043b\u0430\u0431\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a\u00a0\u043f\u043e\u0434\u0431\u043e\u0440\u0443 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (\u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3f9\/482\/405\/3f94824058b047a5c4348148c50c92c2.svg\" width=\"11\" height=\"20\"\/>). \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c alignment \u043c\u0430\u043b\u043e\u0439 \u043a\u0440\u043e\u0432\u044c\u044e, \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0430\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441\u00a0\u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0447\u0435\u043c \u043d\u0430\u00a0\u043f\u043e\u0438\u0441\u043a \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0435 DPO \u0438 \u0443\u00a0\u0432\u0430\u0441 \u0432\u0441\u0451\u00a0\u0436\u0435 \u0435\u0441\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u0435\u0451 \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u041d\u0435\u0440\u0435\u0434\u043a\u043e DPO \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439: \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u00a0\u0434\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0438\u0439 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b. \u041d\u0430\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043e\u0431\u0443\u0447\u0430\u0435\u043c DPO. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0435\u0441\u043b\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u043c\u0435\u044e\u0442\u0441\u044f, \u043b\u0443\u0447\u0448\u0435 \u0438\u0445 \u0442\u043e\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0438\u043b\u0438\u00a0\u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u0434\u0432\u0435 \u0441\u0442\u0430\u0434\u0438\u0438. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c\u00a0\u0431\u044b, \u043c\u0430\u0441\u043b\u043e \u043c\u0430\u0441\u043b\u044f\u043d\u043e\u0435, \u043d\u043e\u00a0\u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0435\u0431\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<h2>\u0422\u0430\u043a \u043a\u0430\u043a\u043e\u0439 \u0436\u0435 \u043c\u0435\u0442\u043e\u0434 \u043b\u0443\u0447\u0448\u0435?<\/h2>\n<p>\u041d\u0430\u00a0\u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u0443\u0447\u043d\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u00a0\u043f\u0440\u0438\u0448\u043b\u043e \u043a\u00a0\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e, \u043a\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043b\u0443\u0447\u0448\u0435. \u041e\u0431\u044b\u0447\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 DPO \u0438 PPO, \u0433\u043e\u0432\u043e\u0440\u044f, \u0447\u0442\u043e\u00a0CEM \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0445\u0443\u0434\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0433\u0434\u0435\u00a0\u0431\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e CEM \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u043e\u0441\u044c\u00a0\u0431\u044b \u0432\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0430\u043f\u043e\u0432 \u0441\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438, \u0430\u0432\u0442\u043e\u0440\u0430\u043c \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b.<\/p>\n<p>\u0414\u0430\u0436\u0435 \u0432\u00a0\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 DPO \u0438 PPO \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u044f\u0441\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0442. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u0438\u0442\u0430\u044e\u0449\u0435\u0435 \u0432\u00a0\u0432\u043e\u0437\u0434\u0443\u0445\u0435 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0PPO \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, \u043d\u043e\u00a0\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0447\u0435\u043c \u043e\u0442\u00a0DPO. \u041d\u043e\u00a0\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u044d\u0442\u043e\u0442 \u0442\u0435\u0437\u0438\u0441 \u043f\u043e\u043a\u0430 \u0447\u0442\u043e\u00a0\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u044c \u043d\u0435\u00a0\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c.<\/p>\n<p>\u0427\u0442\u043e\u00a0\u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043c\u044b \u0432\u0435\u0434\u0451\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/817391\/\"> https:\/\/habr.com\/ru\/articles\/817391\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0447\u0435\u0440\u0435\u0437 API \u0441\u0442\u0430\u043b\u0430 <a href=\"https:\/\/habr.com\/ru\/companies\/yandex\/news\/817545\/\">\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430<\/a> \u043d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c YandexGPT 3\u00a0Lite. \u041e\u0434\u043d\u0438\u043c \u0438\u0437\u00a0\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0435\u0451 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u0430\u043a\u00a0\u0438 \u0432\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u00a0\u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u0441\u0442\u0430\u043b \u044d\u0442\u0430\u043f Alignment (\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f), \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0439 \u0432\u00a0\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0441\u0442\u0430\u0434\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u2014 RL. \u041f\u043e\u0436\u0430\u043b\u0443\u0439, \u0431\u0435\u0437\u00a0\u044d\u0442\u043e\u0433\u043e \u044d\u0442\u0430\u043f\u0430 \u043c\u044b\u00a0\u0431\u044b \u043d\u0435\u00a0\u0441\u043c\u043e\u0433\u043b\u0438 \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u043e\u0441\u0442\u0430 \u0432\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439\u00a0\u0431\u044b\u043b \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u043e\u0432\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u041d\u0435\u0439\u0440\u043e). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u0443 \u0441\u0442\u0430\u0442\u044c\u044e \u043c\u044b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0441\u0432\u044f\u0442\u0438\u043c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439. <\/p>\n<p>\u041d\u0430\u00a0\u0442\u0435\u043c\u0443 Alignment \u0438 RL\u00a0\u0431\u044b\u043b\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0443\u0436\u0435 \u043d\u0435\u043c\u0430\u043b\u043e \u0441\u0442\u0430\u0442\u0435\u0439. \u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u043b\u044e\u0431\u043e\u0439 ML\u2011\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0443\u0436\u0435, \u0442\u0430\u043a \u0438\u043b\u0438\u00a0\u0438\u043d\u0430\u0447\u0435, \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u043b\u0441\u044f \u0438\u043b\u0438\u00a0\u0447\u0438\u0442\u0430\u043b \u043e\u00a0\u043d\u0438\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0445\u043e\u0442\u044c \u0438 \u043d\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043d\u043e\u00a0\u0432\u0441\u0451\u00a0\u0436\u0435 \u0441\u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430\u00a0\u0442\u0435\u0445 \u0434\u0435\u0442\u0430\u043b\u044f\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u00a0\u043d\u0430\u00a0\u0441\u043b\u0443\u0445\u0443. <\/p>\n<hr\/>\n<h2>\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435<\/h2>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u00a0\u043e\u0434\u043d\u0443 \u0438\u0437\u00a0\u0441\u0442\u0430\u0434\u0438\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439\u2011\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u0432. \u042d\u0442\u043e\u0442 \u044d\u0442\u0430\u043f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f alignment (\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435) \u0438 \u0438\u0434\u0451\u0442 \u0432\u0441\u043b\u0435\u0434 \u0437\u0430\u00a0\u044d\u0442\u0430\u043f\u043e\u043c \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 (pretrain).<\/p>\n<p>\u041c\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u00a0\u0431\u0443\u0434\u0435\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e\u0431\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439: \u0432\u0441\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u00a0\u2014 \u044d\u0442\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b. \u041d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434 \u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0438 \u0432\u044b\u0434\u0430\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0442\u043e\u0442 \u0438\u043b\u0438\u00a0\u0438\u043d\u043e\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c. \u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0435\u00a0\u0437\u043d\u0430\u0435\u0442\u0435, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 \u00ab\u0442\u043e\u043a\u0435\u043d\u00bb, \u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435, \u0447\u0442\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u044b\u00a0\u2014 \u044d\u0442\u043e \u0441\u043b\u043e\u0432\u0430. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043a\u0441\u0442 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0441\u043b\u043e\u0432: \u0441\u00a0\u043a\u0430\u043a\u0438\u043c \u0448\u0430\u043d\u0441\u043e\u043c \u043a\u0430\u043a\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c.<\/p>\n<p>\u041d\u0430\u00a0\u0441\u0442\u0430\u0434\u0438\u0438 pretrain \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430: \u043e\u043d\u0430 \u0438\u0437\u0443\u0447\u0430\u0435\u0442 \u043e\u0431\u0449\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u043e\u0431\u0449\u0438\u0435 \u0437\u043d\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u0442\u0430\u043a, \u043a\u0430\u043a\u00a0\u044d\u0442\u043e\u00a0\u0431\u044b\u043b\u043e \u0432\u00a0\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u2011\u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pretrain\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a\u00a0\u0435\u0441\u0442\u044c \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f\u00a0\u2014 \u043e\u043d\u0430 \u043d\u0435\u00a0\u0441\u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0445\u043e\u0442\u044c \u0432\u00a0\u043d\u0435\u0439 \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0437\u043d\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c.<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u2011\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f alignment\u00a0\u2014 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435. \u041c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u00ab\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c\u00bb \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u043d\u0430\u0448\u0438\u043c\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c\u0438. \u041a\u043e\u043c\u0430\u043d\u0434\u0430 Anthropic <a href=\"https:\/\/arxiv.org\/abs\/2212.08073\"><u>\u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u0430\u043b\u0430<\/u><\/a> \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0420\u0435\u0447\u044c \u043e\u00a0\u0442\u0440\u0451\u0445 H: <\/p>\n<ul>\n<li>\n<p>Helpful\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<\/li>\n<li>\n<p>Harmless\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u043d\u0435\u00a0\u0434\u043e\u043b\u0436\u0435\u043d \u0432\u0440\u0435\u0434\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e.<\/p>\n<\/li>\n<li>\n<p>Honest\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d\u00a0\u0431\u044b\u0442\u044c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0442\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u044b \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0432\u00a0\u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u043d\u0430\u00a0\u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043b\u044e\u0434\u044c\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (RLHF), \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u00ab\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u00bb, \u043d\u043e\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043e\u0442\u00a0\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0431\u00a0\u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u044d\u0442\u0430\u043f\u0430\u0445 \u043c\u044b \u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435.<\/p>\n<h2>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u0441\u0442\u0430\u0434\u0438\u0438 SFT<\/h2>\n<p>\u041d\u0430\u00a0\u0441\u0442\u0430\u0434\u0438\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c (Supervised FineTuning, SFT) \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c pretrain\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043f\u0430\u0440\u0430\u0445 \u00ab\u0437\u0430\u043f\u0440\u043e\u0441\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442\u00bb, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0432\u043e\u0451 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432\u00a0\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u0433\u043e \u044d\u0442\u0430\u043f\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0441\u0431\u043e\u0440\u0435 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0414\u043b\u044f\u00a0SFT\u2011\u0441\u0442\u0430\u0434\u0438\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438\u00a0\u0431\u044b \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043e\u0442\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437\u00a0\u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u0421\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0441\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0441\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438: \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043a\u0430\u043a\u00a0\u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438, \u0442\u0430\u043a \u0438 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u00a0\u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0432\u00a0\u043f\u043e\u043b\u0443\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u0434\u043b\u044f\u00a0\u043f\u0435\u0440\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f YandexGPT \u043c\u044b \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u043e\u0432: \u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u043e\u0432 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c, \u043a\u0430\u043a\u00a0\u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0438\u043b\u0438\u00a0\u0434\u0430\u0436\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0430\u043c\u0438\u043c. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043e\u0447\u0435\u043d\u044c \u0434\u0430\u0436\u0435 \u043d\u0435\u043f\u043b\u043e\u0445\u043e.<\/p>\n<p>\u0421\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 \u0432\u0441\u0451 \u043a\u0443\u0434\u0430 \u043f\u0440\u043e\u0437\u0430\u0438\u0447\u043d\u0435\u0435\u00a0\u2014 \u0438\u0445 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u0440\u0438\u00a0\u043f\u043e\u043c\u043e\u0449\u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043b\u044e\u0434\u044c\u043c\u0438. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 helpful, harmless, honest \u0432\u00a0\u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043d\u043d\u0443\u044e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e, \u043a\u0430\u043a\u0438\u043c\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442. \u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u00a0\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c \u0438 \u043e\u0442\u0434\u0430\u0451\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0432\u00a0\u0440\u0443\u043a\u0438 \u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u041d\u0430\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c pretrain\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e SFT\u2011\u043c\u043e\u0434\u0435\u043b\u044c. \u0427\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u043f\u043e\u043d\u044f\u0442\u044c, \u0433\u0434\u0435 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f\u00a0\u0436\u0435\u043b\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043e\u0442\u0432\u0435\u0442 \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d\u043e\u043c. \u041d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043d\u0435\u0451 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f <code>\u0437\u0430\u043f\u0440\u043e\u0441 + \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d<\/code> \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0439\u043c\u0451\u0442, \u0447\u0442\u043e\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432 \u043f\u0440\u043e\u00a0\u0432\u044b\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0438: \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043d\u0430\u00a0\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438. \u0412\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437\u00a0\u043d\u0438\u0445 \u043d\u0435\u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u0436\u0435 \u043d\u0435\u00a0\u0431\u0435\u0437\u00a0\u043f\u043e\u043c\u043e\u0449\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0443\u043a: \u043d\u0430\u00a0\u043d\u0435\u00a0\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u044e\u2011\u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u043c. \u041b\u044e\u0434\u0438\u00a0\u0436\u0435 \u0440\u0435\u0448\u0430\u044e\u0442, \u0447\u0435\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u0431\u044b\u043b \u043b\u0443\u0447\u0448\u0435, \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0435 side\u2011by\u2011side \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e (sbs). \u0412\u00a0\u0441\u0438\u043b\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u00a0\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0434\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0443\u0431\u0435\u0436\u0434\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Binomial_test\"><u>\u0431\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u0441\u0442<\/u><\/a>.<\/p>\n<p>\u0418 \u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b, \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u043d\u044e\u0430\u043d\u0441\u044b \u0432\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0435\u043c\u044b \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u043e. \u0412\u00a0\u044d\u0442\u043e\u043c \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 AI\u2011\u0442\u0440\u0435\u043d\u0435\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0443\u0437\u043a\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u0421\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0\u043d\u0430\u00a0\u0441\u0442\u0430\u0434\u0438\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f, \u0432\u00a0\u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 SFT, \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439, \u0430\u00a0\u043b\u0438\u0448\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u0435\u0441\u044f: \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u0432\u00a0\u043c\u0430\u0441\u0441\u0438\u0432\u0435 \u0443\u0436\u0435 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0435\u0451 \u0434\u043e\u043d\u043e\u0441\u0438\u0442\u044c. \u0412\u00a0\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u00a0\u0432\u044b\u0441\u043e\u043a\u0438\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a\u00a0\u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u0447\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (<a href=\"https:\/\/arxiv.org\/abs\/2305.11206v1\"><u>LIMA: Less Is More for Alignment<\/u><\/a>\u00a0). \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438\u0437\u00a0Google Research \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e\u00a0\u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0432\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0432\u00a0\u0433\u043e\u043b\u043e\u0432\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 SFT \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a\u00a0\u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u044f\u043c\u00a0\u2014 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u00a0\u043f\u043e\u043b\u043d\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043f\u043e\u043b\u043d\u0443\u044e \u0435\u0440\u0443\u043d\u0434\u0443 \u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u0443\u044e (<a href=\"https:\/\/arxiv.org\/abs\/2405.05904\"><u>Does Fine\u2011Tuning LLMs on New Knowledge Encourage Hallucinations?<\/u><\/a>\u00a0).<\/p>\n<p>\u0427\u0442\u043e\u00a0\u0434\u0430\u043b\u044c\u0448\u0435? \u041e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u0441\u0442\u0430\u0434\u0438\u0438 SFT \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u043c\u043d\u043e\u0439 \u0438 \u00ab\u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u043e\u0439\u00bb, \u0447\u0442\u043e\u0431\u044b\u00a0\u0431\u044b\u0442\u044c \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u043b\u0443\u0447\u0448\u0435: \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f SFT \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u0430\u043b\u043e, \u0430\u00a0\u0435\u0441\u043b\u0438 \u0432\u044b\u0447\u0438\u0449\u0430\u0442\u044c \u00ab\u0433\u0440\u044f\u0437\u043d\u044b\u0435\u00bb, \u0442\u043e \u0435\u0449\u0451 \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<p>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043c\u043e\u0436\u043d\u043e \u0435\u0449\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u00ab\u0432\u044b\u0440\u043e\u0432\u043d\u044f\u0442\u044c\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u00a0\u043d\u0430\u0448\u0438\u043c\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c\u0438 \u0431\u0435\u0437\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u044f\u043c\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438\u00a0\u2014 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043b\u044e\u0434\u044c\u043c\u0438. \u042d\u0442\u043e\u0442 \u044d\u0442\u0430\u043f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f RL from Human Feedback. <\/p>\n<h2>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 RLHF<\/h2>\n<figure class=\"full-width\"><\/figure>\n<p>\u0415\u0441\u0442\u044c \u0442\u0430\u043a\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u00a0\u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (Reinforcement Learning, RL). \u042d\u0442\u043e \u043a\u0430\u043a\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u043e\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u044c \u0442\u0443\u0442\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0430\u00a0\u043d\u0430\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0438\u043b\u0438\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u0430, \u0441\u0432\u0430\u043b\u0438\u0432\u0430\u044e\u0449\u0430\u044f\u0441\u044f \u043d\u0430\u00a0\u0433\u043e\u043b\u043e\u0432\u0443 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430.<\/p>\n<p>\u041f\u0440\u043e\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u0443\u043c\u0430\u0442\u044c \u043a\u0430\u043a\u00a0\u043f\u0440\u043e\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u0431\u0430\u043a \u043f\u0443\u0442\u0451\u043c \u0434\u0440\u0435\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0438. \u0421\u043e\u0431\u0430\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442\u00a0\u0434\u0440\u0435\u0441\u0441\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0443, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0440\u044f\u043c\u044b\u0445 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0439, \u043a\u0430\u043a\u00a0\u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u0433\u0430\u0442\u044c \u043b\u0430\u043f\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0431\u0430\u043a\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e\u00a0\u043e\u043d\u0430 \u043c\u043e\u0433\u043b\u0430\u00a0\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u0438 \u0432\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u00a0\u2014 \u0435\u0434\u0443.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u043f\u043e\u00a0RL \u043b\u044e\u0431\u044f\u0442 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u00a0\u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 (Markov Decision Process, MDP), \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 (\u0430\u0433\u0435\u043d\u0442\u0430) \u0438 \u0441\u0440\u0435\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0412\u00a0MDP \u0430\u0433\u0435\u043d\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b  \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435  \u0432\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f  (\u0432 \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0439\u00a0\u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f policy, \u0438 \u044d\u0442\u043e \u0441\u043b\u043e\u0432\u043e \u0447\u0430\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f\u0442 \u043d\u0430\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u043a\u0430\u043a \u00ab\u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430\u00bb, \u0447\u0442\u043e\u00a0\u043d\u0435\u0432\u0435\u0440\u043d\u043e, \u043d\u043e\u00a0\u043e\u0431\u0449\u0435\u0443\u043f\u043e\u0442\u0440\u0435\u0431\u0438\u043c\u043e). \u0421\u0440\u0435\u0434\u0430 \u043d\u0430\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043d\u0430 , \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439  \u0434\u043b\u044f\u00a0\u0430\u0433\u0435\u043d\u0442\u0430\u00a0\u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c \u0432\u00a0MDP. \u041c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0442\u0443\u0442 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0437\u043d\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b, \u0435\u043c\u0443 \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043e\u0431\u00a0\u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435.<\/p>\n<p>\u041f\u0440\u043e\u00a0\u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441\u00a0\u0418\u0418\u2011\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u0436\u0435 \u0434\u0443\u043c\u0430\u0442\u044c \u0432\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439. \u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u044b \u00a0\u2014 \u044d\u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0431\u0435\u0441\u0435\u0434\u0435, \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0441\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f (\u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f). \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430\u00a0\u2014 \u044d\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u00a0\u0436\u0435, \u043e\u0442\u0432\u0435\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u041e\u0431\u00a0\u044d\u0442\u043e\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0432\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u043b\u0430\u0432\u0435.<\/p>\n<p>\u0418\u0437\u00a0\u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0432\u00a0\u0437\u0430\u0434\u0430\u0447\u0435 alignment \u043e\u0431\u044b\u0447\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435: \u0430\u0433\u0435\u043d\u0442 \u0432\u0438\u0434\u0438\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f (\u0438\u043b\u0438 \u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u0434\u0438\u0430\u043b\u043e\u0433 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441\u00a0\u0418\u0418, \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0440\u0435\u043f\u043b\u0438\u043a\u043e\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f) \u0438 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0437\u0430\u00a0\u044d\u0442\u043e\u0442 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 RL, \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0442\u0435\u043c\u0438 \u0438\u043b\u0438\u00a0\u0438\u043d\u044b\u043c\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438. \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0440\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0434\u043b\u044f\u00a0\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u00ab\u0437\u0430\u043f\u0438\u0445\u0438\u0432\u0430\u043d\u0438\u0435\u00bb \u0437\u043d\u0430\u043d\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u0432\u00a0\u0433\u043e\u043b\u043e\u0432\u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u00ab\u043f\u0435\u0440\u0435\u0443\u0441\u0432\u043e\u0438\u0442\u044c\u00bb \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438, \u0432\u043d\u0435\u0441\u0451\u043d\u043d\u044b\u0435 \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 SFT \u0432\u00a0\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0438\u044f\u0442\u043d\u043e\u043c \u0434\u043b\u044f\u00a0\u0441\u0435\u0431\u044f \u0432\u0438\u0434\u0435. \u042d\u0444\u0444\u0435\u043a\u0442 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f SFT, \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 RL \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u043e\u0442\u0432\u0435\u0442 \u00ab\u043d\u0435 \u0437\u043d\u0430\u044e\u00bb \u0432\u0435\u0434\u0451\u0442 \u043a\u00a0\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u0435, \u0447\u0435\u043c \u043e\u0442\u0432\u0435\u0442 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439.<\/p>\n<h2>\u0410 \u0441\u0443\u0434\u044c\u0438 \u043a\u0442\u043e?<\/h2>\n<p>\u041f\u0440\u0438\u00a0\u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043c RL \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u0437\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 (\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043b\u044e\u0434\u044c\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432), \u043d\u0443\u0436\u0435\u043d\u00a0\u043b\u0438\u0448\u044c \u043f\u0443\u043b \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0431\u0443\u0434\u0435\u0442 \u043b\u0443\u043a\u0430\u0432\u0441\u0442\u0432\u043e\u043c \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u043b\u044f\u00a0RL \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e,\u00a0\u2014 \u0432\u0435\u0434\u044c \u0443\u00a0\u043d\u0430\u0441 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u044b!<\/p>\n<p>\u041e\u0442\u043a\u0443\u0434\u0430 \u0435\u0451\u00a0\u2014 \u043d\u0430\u0433\u0440\u0430\u0434\u0443\u00a0\u2014 \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u0437\u044f\u0442\u044c? \u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e\u00a0\u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u0433\u043e\u043b\u043e\u0432\u0443,\u00a0\u2014 \u0432\u043d\u043e\u0432\u044c \u043f\u043e\u0441\u0430\u0434\u0438\u0442\u044c \u043b\u044e\u0434\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u043e\u00a0\u0443\u0436\u0435 \u0432\u00a0\u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0449\u0430\u0434\u044f\u0449\u0435\u043c \u0440\u0435\u0436\u0438\u043c\u0435. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043c\u044b \u0434\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0430\u0448\u0435\u0439<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-377746","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/377746","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=377746"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/377746\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=377746"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=377746"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=377746"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}